多元线性回归之正规方程法(上)

1 课程概览

本课讲解多元线性回归的正规方程法求解（上半部分）。介绍多元线性回归的公式 $Y = W^TX + B$，讲解数据集结构（每行一个样本，每列一个特征），说明每个特征对应一个权重W，以及如何将损失函数从一元扩展到多元情况。

2 核心概念与定义

• 多元线性回归：$Y = W^TX + B$，多个特征对应多个权重。
• W（权重向量）：每个特征对应一个权重，W = [W1, W2, ..., Wn]。
• X（特征矩阵）：每行一个样本，每列一个特征。
• Y（真实值）：每个样本对应一个真实值。
• 正规方程法：通过公式一步到位直接求解。

3 算法与模型详解

3.1 多元线性回归公式

$$Y = W^TX + B$$

展开形式： $$Y = W_1X_1 + W_2X_2 + W_3X_3 + ... + W_nX_n + B$$

3.2 数据集结构

说明：

• 每行：一个样本
• 每列：一个特征
• 最后一列：真实值Y
• Xi：第i个样本
• Xij：第i个样本的第j个特征
• Wj：第j个特征的权重

3.3 权重向量

$$W = \begin{bmatrix} W_1 \ W_2 \ W_3 \ \vdots \ W_n \end{bmatrix}$$

说明：每个特征对应一个权重

3.4 第一个样本的预测值

$$h(X_1) = W_1X_{11} + W_2X_{12} + W_3X_{13} + W_4X_{14} + B$$

3.5 损失函数

$$L(W, B) = \sum_{i=1}^{m} (h(X_i) - Y_i)^2 = \sum_{i=1}^{m} (W^TX_i + B - Y_i)^2$$

说明：

• $h(X_i)$：第i个样本的预测值
• $Y_i$：第i个样本的真实值
• m：样本总数

3.6 正规方程法思路

步骤：

1. 写出损失函数
2. 对W求偏导，令其等于0
3. 对B求偏导，令其等于0
4. 联立方程组求解W和B

4 数学原理与推导

4.1 多元线性回归公式

$$Y = W^TX + B$$

其中：

• $W = [W_1, W_2, ..., W_n]^T$
• $X = [X_1, X_2, ..., X_n]^T$

4.2 损失函数

$$L(W, B) = \sum_{i=1}^{m} (W^TX_i + B - Y_i)^2$$

4.3 矩阵形式

$$L(W, B) = (XW - Y)^T(XW - Y)$$

5 代码示例

本课为理论推导，无代码示例。

数据集示例：

import numpy as np

# 数据集（4个特征，5个样本）
X = np.array([
    [2104, 5, 1, 45],
    [1416, 3, 2, 40],
    [1534, 3, 2, 30],
    [852, 2, 1, 36],
    [1940, 4, 2, 50]
])

# 真实值
Y = np.array([460, 232, 315, 178, 440])

# 权重向量（4个特征对应4个权重）
W = np.array([0.1, 10, -1, -0.5])

# 预测值
B = 100
predictions = np.dot(X, W) + B
print("预测值：", predictions)

6 重难点与易错提醒

• ❗重点：多元线性回归公式 $Y = W^TX + B$。
• ❗重点：每个特征对应一个权重W。
• ❗重点：数据集结构（行=样本，列=特征）。
• ⚠️易错：混淆Xij的含义（第i个样本的第j个特征）。
• ⚠️易错：忘记W需要转置才能与X相乘。
• 💡深入理解：多元线性回归是线性代数在机器学习中的典型应用。

7 课堂问答精选

Q: 多元线性回归和一元线性回归有什么区别？

A:

• 一元线性回归：1个特征，公式 $Y = WX + B$
• 多元线性回归：多个特征，公式 $Y = W^TX + B$ 多元线性回归是线性代数在机器学习中的应用，每个特征对应一个权重。

Q: 数据集的结构是怎样的？

A:

• 每行：一个样本
• 每列：一个特征
• 最后一列：真实值Y
• Xi：第i个样本
• Xij：第i个样本的第j个特征

8 本课小结

• 多元线性回归公式：$Y = W^TX + B$
• 数据集结构：行=样本，列=特征
• 权重向量：每个特征对应一个权重
• 损失函数：$\sum (W^TX_i + B - Y_i)^2$
• 正规方程法：对W和B求偏导，令偏导等于0求解

9 延伸思考与实践

• 预习：多元线性回归正规方程法的完整推导。
• 思考：为什么需要用矩阵形式表示？
• 实践：用NumPy创建多元数据集。