线性回归之今日内容大纲介绍

1 课程概览

本课介绍第三章线性回归的内容大纲，包括线性回归定义、分类（一元/多元）、应用场景、API入门、损失函数、正规方程与梯度下降、回归模型评估（MAE/MSE/RMSE）、波士顿房价预测案例、欠拟合与过拟合、L1/L2正则化等。明确学习重点为梯度下降和API使用。

2 核心概念与定义

线性回归（Linear Regression）：用一条线来模拟自变量（特征）和因变量（标签）之间关系的算法。
一元线性回归：一个特征列 + 一个标签列。
多元线性回归：多个特征列 + 一个标签列。
损失函数（Loss Function）：描述预测值和真实值之间关系的函数，让误差最小。
正规方程：一步到位直接求解最优参数的方法。
梯度下降：不断逼近最优解的方法（重点）。
MAE：平均绝对误差（Mean Absolute Error）。
MSE：均方误差（Mean Square Error）。
RMSE：均方根误差（Root Mean Square Error）。
L1正则化：解决过拟合的方法之一。
L2正则化：解决过拟合的方法之一（岭回归）。

3 算法与模型详解

3.1 线性回归分类

类型	特征数	标签数	示例
一元线性回归	1列	1列	基于身高预测体重
多元线性回归	多列	1列	基于学历、经验、成绩预测薪资

3.2 线性回归公式

一元线性回归： $$Y = WX + B$$

W：权重（weight），数学中叫斜率
B：偏置（bias），数学中叫截距

多元线性回归： $$Y = W^T X + B$$

$W^T$：权重向量的转置
X：特征向量
B：偏置

3.3 损失函数

作用：描述预测值和真实值之间的关系，让误差最小。

误差公式： $$\text{误差} = \text{预测值} - \text{真实值}$$

损失函数：各个样本误差的平方和，越小越好。

3.4 求解损失函数最小值的方法

方法	特点	重点程度
正规方程	一步到位，基于公式直接计算	了解
梯度下降	不断逼近最优解	⭐重点

3.5 回归模型评估指标

指标	全称	说明
MAE	Mean Absolute Error	平均绝对误差
MSE	Mean Square Error	均方误差
RMSE	Root Mean Square Error	均方根误差

⚠️面试高频问题：回归算法的评估标准是什么？

3.6 欠拟合与过拟合

问题	原因	解决方法
欠拟合	模型太简单	让模型复杂（L1正则化）
过拟合	模型太复杂	让模型简单（L2正则化/岭回归）

3.7 机器学习核心步骤（六步法）

数据加载
数据预处理
特征工程
模型训练
模型预测
模型评估

4 数学原理与推导

本课为大纲介绍，具体推导见后续课程。

5 代码示例

本课为大纲介绍，无代码示例。

API预览：

from sklearn.linear_model import LinearRegression

6 重难点与易错提醒

❗重点：梯度下降是本章节的重点内容。
❗重点：线性回归API的使用。
❗重点：回归模型评估指标（MAE/MSE/RMSE）。
❗重点：损失函数的概念和作用。
⚠️易错：混淆一元和多元线性回归的特征数。
💡深入理解：线性回归属于有监督学习，标签是连续的。

7 课堂问答精选

Q: 线性回归的API是什么？

A:

导包：from sklearn.linear_model import LinearRegression
linear：线性
regression：回归
位于sklearn.linear_model模块下

Q: 损失函数的作用是什么？

A: 损失函数用来描述预测值和真实值之间的关系，让误差最小。损失函数越小，说明模型拟合效果越好。通过正规方程或梯度下降方法求解损失函数的最小值。

8 本课小结

线性回归：用一条线描述特征和标签之间的关系。
分类：一元线性回归（1特征）、多元线性回归（多特征）。
公式：一元Y=WX+B，多元Y=W^T X+B。
损失函数：描述预测值和真实值关系，让误差最小。
求解方法：正规方程（了解）、梯度下降（重点）。
评估指标：MAE、MSE、RMSE。
学习重点：梯度下降、API使用。

9 延伸思考与实践

预习：线性回归的定义和分类。
预习：损失函数的数学表达。
思考：为什么梯度下降比正规方程更重要？