决策树之信息熵简介

import numpy as np

def entropy(labels):
    """计算信息熵"""
    # 统计每个分类的数量
    _, counts = np.unique(labels, return_counts=True)
    
    # 计算每个分类的占比
    probabilities = counts / len(labels)
    
    # 计算熵: -sum(p * log2(p))
    ent = -np.sum(probabilities * np.log2(probabilities))
    
    return ent

# 1. 数据Alpha：8个数据，8种分类
alpha = ['A', 'B', 'C', 'D', 'E', 'F', 'G', 'H']
print(f"Alpha数据: {alpha}")
print(f"Alpha熵: {entropy(alpha)}")  # 3.0

# 2. 数据Beta：8个数据，2种分类（A:4, B:4）
beta = ['A', 'A', 'A', 'A', 'B', 'B', 'B', 'B']
print(f"\nBeta数据: {beta}")
print(f"Beta熵: {entropy(beta)}")  # 1.0

# 3. 更规整的数据
gamma = ['A', 'A', 'A', 'A', 'A', 'A', 'A', 'A']
print(f"\nGamma数据: {gamma}")
print(f"Gamma熵: {entropy(gamma)}")  # 0.0

# 4. 不同混乱程度的数据对比
print("\n=== 不同混乱程度的熵 ===")
datasets = {
    '完全混乱(8类)': ['A', 'B', 'C', 'D', 'E', 'F', 'G', 'H'],
    '较混乱(4类)': ['A', 'A', 'B', 'B', 'C', 'C', 'D', 'D'],
    '较规整(2类)': ['A', 'A', 'A', 'A', 'B', 'B', 'B', 'B'],
    '完全规整(1类)': ['A', 'A', 'A', 'A', 'A', 'A', 'A', 'A']
}

for name, data in datasets.items():
    ent = entropy(data)
    print(f"{name}: 熵={ent:.4f}")

# 5. 信息增益计算示例
def information_gain(parent, left_child, right_child):
    """计算信息增益"""
    # 父节点的熵
    parent_entropy = entropy(parent)
    
    # 子节点的加权熵
    n = len(parent)
    n_left = len(left_child)
    n_right = len(right_child)
    
    children_entropy = (n_left / n) * entropy(left_child) + (n_right / n) * entropy(right_child)
    
    # 信息增益 = 父节点熵 - 子节点加权熵
    return parent_entropy - children_entropy

# 示例：根据某个特征划分数据
parent = ['A', 'A', 'B', 'B', 'C', 'C', 'D', 'D']
left = ['A', 'A', 'B', 'B']  # 划分后的左子节点
right = ['C', 'C', 'D', 'D']  # 划分后的右子节点

ig = information_gain(parent, left, right)
print(f"\n信息增益: {ig:.4f}")

输出示例：

Alpha数据: ['A', 'B', 'C', 'D', 'E', 'F', 'G', 'H']
Alpha熵: 3.0

Beta数据: ['A', 'A', 'A', 'A', 'B', 'B', 'B', 'B']
Beta熵: 1.0

Gamma数据: ['A', 'A', 'A', 'A', 'A', 'A', 'A', 'A']
Gamma熵: 0.0

=== 不同混乱程度的熵 ===
完全混乱(8类): 熵=3.0000
较混乱(4类): 熵=2.0000
较规整(2类): 熵=1.0000
完全规整(1类): 熵=0.0000

信息增益: 1.0000

6 重难点与易错提醒

❗重点：信息熵表示数据的混乱程度。
❗重点：数据越乱熵越大，越规整熵越小。
❗重点：信息熵公式：$H(X) = -\sum p_i \log_2 p_i$。
❗重点：信息增益 = 熵 - 条件熵。
⚠️易错：忘记负号。
⚠️易错：对数底数用错（必须用2）。
💡深入理解：信息增益越大，说明该特征对分类越重要。

7 课堂问答精选

Q: 什么是信息熵？

A: 信息熵是随机变量不确定度的度量，大白话是数据的混乱程度：

数据越规整，熵越小
数据越乱，熵越大
完全规整的数据熵为0
完全混乱的数据熵最大

Q: 如何计算信息熵？

A: 信息熵公式：$H(X) = -\sum p_i \log_2 p_i$ 计算步骤：

计算每个分类的占比 $p_i$
计算 $\log_2 p_i$
计算 $-p_i \log_2 p_i$
对所有分类求和例如：8个数据8种分类，每个占比1/8，熵 = -8 × (1/8) × log2(1/8) = 3

8 本课小结

信息熵：数据混乱程度的度量。
公式：$H(X) = -\sum p_i \log_2 p_i$。
特点：数据越乱熵越大，越规整熵越小。
信息增益：熵 - 条件熵。
ID3：根据信息增益划分节点。

9 延伸思考与实践

实践：用Python计算不同数据的信息熵。
预习：信息增益计算。
思考：为什么信息增益越大，特征越重要？