Your Site Title

Artificial Intelligence Basic

• langchain-ai/langchain 上下文感知推理 向量化

• pytorch/pytorch

• comfyanonymous/ComfyUI
• CompVis/stable-diffusion
• [SDXL Stable Diffusion XL]
• [SDXL LoRA LCM 清华大学]
• [Draw Things]

macOS-QQ-WeChat-API WeChatPlugin-MacOS

Alfred

OpenAI

GPTs
Assistant API

算法

线性回归

在统计学中，线性回归（英语：linear regression）是利用称为线性回归方程的最小平方函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析

为什么线性回归是 AI 的基础

---

🧮 一、从数学角度看：AI 的核心是“找规律”，线性回归就是最基本的规律建模

线性回归的目标是：

[ y = w_1x_1 + w_2x_2 + … + w_nx_n + b ]

它要做的事情是：

给定输入 (x)，学习出一组参数 (w, b)，让预测值 ( \hat{y} ) 尽量接近真实值 ( y )。

这其实就是 所有机器学习模型的本质目标：

找到一个函数 ( f(x) \approx y )。

线性回归只是这个函数最简单的形式（线性的），但思想完全相同。
复杂模型（神经网络、决策树、Transformer）不过是在换一种更复杂的函数表示。

---

🧠 二、从算法思想看：线性回归引出了 AI 的三大核心概念

1. 参数学习
   • 线性回归通过优化参数 ( w, b ) 来让预测更准。
   • 这就是深度学习中“反向传播”要做的事——调整参数以减少误差。
2. 损失函数（Loss Function）
   • 在线性回归中，我们最小化均方误差 (MSE)： [ L = \frac{1}{N}\sum_i (y_i - \hat{y_i})^2 ]
   • 几乎所有 AI 模型都有类似的目标函数，只是形式更复杂。
3. 优化方法（Optimization）
   • 线性回归可以用解析解（正规方程），也可以用梯度下降法。
   • 梯度下降法是现代 AI（特别是深度学习）训练的核心。

✅ 理解线性回归 = 理解 AI 的优化思想雏形。

---

🧩 三、从模型结构看：线性回归是神经网络的“单层原型”

最简单的神经元（Perceptron）计算的是：

[ y = \sigma(w^Tx + b) ]

如果去掉激活函数 ( \sigma )，它就变成线性回归。

也就是说：

线性回归 = 无激活的单层神经网络

所有神经网络都在它的基础上发展出来，只是加了：

• 非线性激活函数（ReLU、Sigmoid）
• 多层结构（深度学习）
• 更多特征组合与正则化手段

---

⏳ 四、从历史角度看：线性回归是“AI”发展最早的数学起点

• 19 世纪就有线性回归（高斯、皮尔逊等人）
• 20 世纪 50–60 年代，AI 刚兴起时，最早的“感知机模型”就是线性回归加激活函数
• 后来的机器学习算法（逻辑回归、SVM、神经网络）都是从线性模型扩展出来的

因此，线性回归不仅是理论基础，更是历史上的“第一个 AI 模型雏形”。

---

🧭 五、总结

层面	线性回归的意义
数学	最简单的函数拟合形式
算法	启发了损失函数与优化思想
模型	是神经网络的线性原型
历史	是最早的“人工智能模型”

决策树

分类 规则系统 特征

rand forest

误差降到最少

熵 information gain

Reference

Making Sense out of Machine Learning and Deep Learning

This site is open source. Improve this page.