逻辑回归之原理介绍

import numpy as np
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

# 1. 准备数据
np.random.seed(42)
# 生成示例数据
X = np.random.randn(100, 3)  # 100个样本，3个特征
Y = (X[:, 0] + X[:, 1] > 0).astype(int)  # 二分类标签

# 2. 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, Y, test_size=0.2, random_state=42)

# 3. 创建逻辑回归模型
model = LogisticRegression()

# 4. 训练模型
model.fit(X_train, y_train)

# 5. 预测
y_pred = model.predict(X_test)
y_prob = model.predict_proba(X_test)  # 预测概率

# 6. 评估
accuracy = accuracy_score(y_test, y_pred)
print(f"准确率: {accuracy:.2%}")
print(f"权重W: {model.coef_}")
print(f"偏置B: {model.intercept_}")

# 7. 查看前5个样本的预测结果
print("\n前5个样本预测结果:")
for i in range(5):
    print(f"样本{i+1}: 概率={y_prob[i][1]:.4f}, 预测={y_pred[i]}, 真实={y_test[i]}")

输出示例：

准确率: 95.00%
权重W: [[1.23 -0.45 0.67]]
偏置B: [0.12]

前5个样本预测结果:
样本1: 概率=0.8234, 预测=1, 真实=1
样本2: 概率=0.2156, 预测=0, 真实=0
样本3: 概率=0.6789, 预测=1, 真实=1
样本4: 概率=0.1234, 预测=0, 真实=0
样本5: 概率=0.5432, 预测=1, 真实=0

手动实现逻辑回归预测过程：

def sigmoid(z):
    return 1 / (1 + np.exp(-z))

def logistic_predict(X, W, B, threshold=0.6):
    """手动实现逻辑回归预测"""
    # 1. 线性回归预测
    z = np.dot(X, W) + B
    
    # 2. Sigmoid映射
    prob = sigmoid(z)
    
    # 3. 阈值判断
    predictions = (prob > threshold).astype(int)
    
    return predictions, prob

# 使用手动实现
W = np.array([0.5, 0.3, -0.2])
B = 0.1
predictions, probabilities = logistic_predict(X_test, W, B, threshold=0.6)

print("手动预测概率:", probabilities[:5])
print("手动预测结果:", predictions[:5])

6 重难点与易错提醒

❗重点：逻辑回归是分类模型，不是回归。
❗重点：线性回归的输出作为逻辑回归的输入。
❗重点：Sigmoid将预测值映射到0-1概率。
❗重点：准确率 = 预测正确数 / 总数。
⚠️易错：混淆逻辑回归和线性回归。
⚠️易错：阈值设置不当影响分类。
💡深入理解：逻辑回归 = 线性回归 + Sigmoid + 阈值判断。

7 课堂问答精选

Q: 逻辑回归的原理是什么？

A: 逻辑回归的原理是：

利用线性回归 $W^TX + B$ 预测一个值
将预测值通过Sigmoid函数映射为概率（0-1）
结合阈值划分类别（大于阈值为正类，否则为负类）

Q: 如何计算准确率？

A: 准确率 = 预测正确的样本数 / 总样本数例如：5个样本中预测对了2个，准确率 = 2/5 = 40%。

8 本课小结

逻辑回归：分类模型，API为LogisticRegression。
原理：线性回归 → Sigmoid → 概率 → 阈值判断。
公式：$h_\theta(X) = \sigma(W^TX + B)$
准确率：预测正确数 / 总数。
线性回归输出作为逻辑回归输入。

9 延伸思考与实践

实践：用sklearn实现逻辑回归分类。
预习：逻辑回归案例（癌症预测）。
思考：如何选择合适的阈值？