多元线性回归之正规方程法(下)

import numpy as np

# 数据集（5个样本，4个特征）
X = np.array([
    [2104, 5, 1, 45],
    [1416, 3, 2, 40],
    [1534, 3, 2, 30],
    [852, 2, 1, 36],
    [1940, 4, 2, 50]
])

# 真实值
Y = np.array([460, 232, 315, 178, 440])

# 添加X0列（全为1，用于计算偏置B）
X_b = np.c_[np.ones((len(X), 1)), X]

# 正规方程法求解W
# W = (X^T * X)^-1 * X^T * Y
W = np.linalg.inv(X_b.T.dot(X_b)).dot(X_b.T).dot(Y)

print("权重W：", W)
# W[0]是偏置B，W[1:]是各特征的权重

# 预测
X_test = np.array([[1, 2000, 4, 2, 40]])  # 添加X0=1
y_predict = X_test.dot(W)
print("预测值：", y_predict)

使用sklearn：

from sklearn.linear_model import LinearRegression

# 创建模型
model = LinearRegression()

# 训练模型
model.fit(X, Y)

# 查看权重和偏置
print("权重W：", model.coef_)
print("偏置B：", model.intercept_)

# 预测
X_test = np.array([[2000, 4, 2, 40]])
y_predict = model.predict(X_test)
print("预测值：", y_predict)

6 重难点与易错提醒

❗重点：W公式：$W = (X^TX)^{-1}X^TY$
❗重点：大X是特征列矩阵。
❗重点：矩阵必须有逆才能求解。
❗重点：正规方程法的两个弊端。
⚠️易错：忘记添加X0列（全为1）用于计算偏置B。
⚠️易错：矩阵相乘顺序错误。
💡深入理解：正规方程法是精确解，但要求矩阵可逆。

7 课堂问答精选

Q: 大X是什么？

A: 大X是特征列矩阵，由所有特征列组成。在数据集中，每列是一个特征，所有特征列组合在一起就是大X。

Q: 正规方程法有什么弊端？

矩阵必须有逆：如果 $X^TX$ 不可逆（如特征线性相关、特征数大于样本数），无法计算。
大数据量内存问题：数据量大时，矩阵求逆计算量大，可能内存溢出。因此，大数据量通常使用梯度下降法。

8 本课小结

W公式：$W = (X^TX)^{-1}X^TY$
大X：特征列矩阵
计算步骤：转置 → 相乘 → 求逆 → 乘以转置 → 乘以Y
弊端1：矩阵必须有逆
弊端2：大数据量内存问题
替代方案：梯度下降法

9 延伸思考与实践

实践：用NumPy手动实现正规方程法。
预习：梯度下降法。
思考：什么情况下矩阵不可逆？