线性回归简介

1 课程概览

本课详细讲解线性回归的定义、分类（一元/多元）、公式推导和应用场景。通过身高预测体重的例子说明一元线性回归，通过预测薪资说明多元线性回归。重点推导多元线性回归的矩阵表达式Y=W^T X+B，并介绍权重（W）和偏置（B）的概念。

2 核心概念与定义

• 线性回归：用线性公式描述自变量（特征）和因变量（标签）之间关系的算法。
• 自变量：特征（X），影响预测结果的变量。
• 因变量：标签（Y），被预测的结果。
• 权重（Weight, W）：数学中叫斜率（K），机器学习中叫权重。
• 偏置（Bias, B）：数学中叫截距（B），机器学习中叫偏置。
• 转置（T）：矩阵操作，将行向量转为列向量，便于矩阵相乘。

3 算法与模型详解

3.1 线性回归定义

定义：用线性公式描述一个或多个自变量（特征）和因变量（标签）之间关系，进行建模并基于特征预测标签。

特点：

• 属于有监督学习
• 有特征、有标签
• 标签是连续的

3.2 一元线性回归

公式： $$Y = KX + B = WX + B$$

说明：

• 一个特征列 + 一个标签列
• K（斜率）→ W（权重）
• B（截距）→ B（偏置）

示例：基于身高预测体重

• X：身高（特征）
• Y：体重（标签）
• W：权重（斜率）
• B：偏置（截距）

3.3 多元线性回归

公式推导：

步骤1：多个特征的线性组合 $$Y = W_1X_1 + W_2X_2 + W_3X_3 + ... + B$$

步骤2：转换为矩阵形式

• W = [W1, W2, W3]
• X = [X1, X2, X3]

步骤3：矩阵相乘条件

• A的列数 = B的行数
• W是一行三列，X也是一行三列，无法直接相乘

步骤4：使用转置 $$W^T = \begin{bmatrix} W_1 \ W_2 \ W_3 \end{bmatrix}$$

步骤5：最终公式 $$Y = W^T X + B$$

3.4 权重和偏置的术语对照

3.5 线性回归分类总结

3.6 应用场景

4 数学原理与推导

4.1 一元线性回归公式

$$Y = WX + B$$

4.2 多元线性回归公式推导

原始形式： $$Y = W_1X_1 + W_2X_2 + W_3X_3 + B$$

矩阵形式： $$Y = W^T X + B$$

其中：

• $W = [W_1, W_2, W_3]$
• $X = [X_1, X_2, X_3]$
• $W^T$：W的转置

矩阵相乘条件：A的列数 = B的行数

4.3 偏置B的处理

B可以看作 $W_0 \times 1$，因此公式可简化为： $$Y = W^T X$$

5 代码示例

本课为理论介绍，代码示例见下节课。

6 重难点与易错提醒

• ❗重点：一元线性回归公式：Y = WX + B
• ❗重点：多元线性回归公式：Y = W^T X + B
• ❗重点：W是权重（斜率），B是偏置（截距）。
• ❗重点：多元线性回归需要使用转置（T）满足矩阵相乘条件。
• ⚠️易错：混淆一元和多元的特征数。
• ⚠️易错：忘记转置导致矩阵无法相乘。
• 💡深入理解：线性回归属于有监督学习，标签是连续的。

7 课堂问答精选

Q: 为什么多元线性回归需要使用转置？

A: 因为矩阵相乘的条件是A的列数等于B的行数。W是一行三列，X也是一行三列，无法直接相乘。通过转置将W变为三行一列，满足相乘条件，才能进行矩阵相乘得到 $W_1X_1 + W_2X_2 + W_3X_3$。

Q: 权重（W）和偏置（B）分别是什么？

A:

• 权重（W）：数学中叫斜率（K），表示特征对结果的影响程度。
• 偏置（B）：数学中叫截距（B），表示基础值。 在机器学习中，斜率称为权重（Weight），截距称为偏置（Bias）。

8 本课小结

• 线性回归：用线性公式描述特征和标签之间的关系。
• 一元线性回归：Y = WX + B（一个特征）。
• 多元线性回归：Y = W^T X + B（多个特征）。
• W是权重（斜率），B是偏置（截距）。
• 多元线性回归需要转置（T）满足矩阵相乘条件。
• 应用场景：钢轨伸缩、昆虫鸣叫、房价预测、薪资预测等。

9 延伸思考与实践

• 思考：为什么线性回归属于有监督学习？
• 预习：线性回归API的入门使用。
• 预习：损失函数的概念和计算方法。