上午内容回顾

指标	全称	公式	说明
最小二乘	Least Squares	$\sum (\hat{y}_i - y_i)^2$	误差平方和
MAE	Mean Absolute Error	$\frac{1}{n}\sum	\hat{y}_i - y_i
MSE	Mean Square Error	$\frac{1}{n}\sum (\hat{y}_i - y_i)^2$	均方误差
RMSE	Root Mean Square Error	$\sqrt{MSE}$	均方根误差

关系：

MSE = 最小二乘 / 样本总数
RMSE = √MSE

3.5 求解损失函数最小值的方法

方法	特点	适用场景
正规方程法	一步到位，直接求解	数据量小
梯度下降法	逐步逼近最优解	数据量大

对比：

正规方程法：一次性计算，数据量大时可能内存溢出
梯度下降法：逐步逼近，适合大数据量

类比：

正规方程法：一次性搬100块砖（可能搬不动）
梯度下降法：每次搬10块，分10次搬（逐步完成）

4 数学原理与推导

4.1 线性回归公式

一元： $$Y = WX + B$$

多元： $$Y = W^T X + B$$

4.2 损失函数

$$L(W, B) = \sum_{i=1}^{n} (\hat{y}i - y_i)^2 = \sum{i=1}^{n} (WX_i + B - y_i)^2$$

4.3 评估指标公式

$$MAE = \frac{1}{n}\sum_{i=1}^{n} |\hat{y}_i - y_i|$$

$$MSE = \frac{1}{n}\sum_{i=1}^{n} (\hat{y}_i - y_i)^2$$

$$RMSE = \sqrt{MSE}$$

5 代码示例

本课为回顾，无新代码示例。

API回顾：

from sklearn.linear_model import LinearRegression

# 创建模型
estimator = LinearRegression()

# 训练模型
estimator.fit(x_train, y_train)

# 查看权重和偏置
print("权重W：", estimator.coef_)
print("偏置B：", estimator.intercept_)

# 预测
y_predict = estimator.predict(x_test)

6 重难点与易错提醒

❗重点：线性回归公式：一元Y=WX+B，多元Y=W^T X+B。
❗重点：损失函数让误差和最小。
❗重点：MAE、MSE、RMSE的区别和关系。
❗重点：正规方程法（一步到位）vs 梯度下降法（逐步逼近）。
⚠️易错：混淆MAE和MSE（绝对值vs平方）。
⚠️易错：忘记RMSE是MSE开根号。
💡深入理解：梯度下降法适合大数据量，正规方程法适合小数据量。

7 课堂问答精选

Q: 最小二乘、MSE、RMSE之间有什么关系？

最小二乘：所有误差的平方和 $\sum (\hat{y}_i - y_i)^2$
MSE = 最小二乘 / 样本总数
RMSE = √MSE

Q: 正规方程法和梯度下降法有什么区别？

正规方程法：一步到位直接求解，适合小数据量，大数据量可能内存溢出。
梯度下降法：逐步逼近最优解，适合大数据量。类比：正规方程法是一次性搬100块砖，梯度下降法是每次搬10块分10次搬。

8 本课小结

线性回归：一元Y=WX+B，多元Y=W^T X+B。
损失函数：让误差和最小。
评估指标：MAE（绝对值）、MSE（平方）、RMSE（开根号）。
求解方法：正规方程法（一步到位）、梯度下降法（逐步逼近）。
选择依据：数据量小用正规方程，数据量大用梯度下降。

9 延伸思考与实践

复习：上午的线性回归内容。
预习：矩阵的基本运算。
思考：为什么梯度下降法适合大数据量？