Cart树原理介绍

import numpy as np

def gini(labels):
    """计算基尼值"""
    _, counts = np.unique(labels, return_counts=True)
    probabilities = counts / len(labels)
    return 1 - np.sum(probabilities ** 2)

def gini_index(feature, labels):
    """计算基尼指数"""
    unique_values = np.unique(feature)
    total = len(labels)
    gi = 0
    for value in unique_values:
        subset = labels[feature == value]
        weight = len(subset) / total
        gi += weight * gini(subset)
    return gi

# 1. 基尼值计算示例
print("=== 基尼值计算示例 ===")

# 示例1：全是同一类（10个红球）
labels1 = np.array(['红'] * 10)
print(f"10个红球: 基尼值 = {gini(labels1):.4f}")  # 0.0

# 示例2：两类各半（5红5蓝）
labels2 = np.array(['红'] * 5 + ['蓝'] * 5)
print(f"5红5蓝: 基尼值 = {gini(labels2):.4f}")  # 0.5

# 示例3：三类
labels3 = np.array(['红'] * 4 + ['蓝'] * 3 + ['绿'] * 3)
print(f"4红3蓝3绿: 基尼值 = {gini(labels3):.4f}")

# 示例4：完全混乱（10个不同类）
labels4 = np.array([str(i) for i in range(10)])
print(f"10个不同类: 基尼值 = {gini(labels4):.4f}")

# 2. 基尼指数计算示例
print("\n=== 基尼指数计算示例 ===")
# 6个样本，3个A，3个B
labels = np.array(['A', 'A', 'A', 'B', 'B', 'B'])
# 特征：4个alpha，2个beta
feature = np.array(['alpha', 'alpha', 'alpha', 'alpha', 'beta', 'beta'])

gi = gini_index(feature, labels)
print(f"基尼指数: {gi:.4f}")

# 详细计算过程
print("\n=== 详细计算过程 ===")
print(f"数据: labels={labels}")
print(f"特征: feature={feature}")

# 基尼值
gini_parent = gini(labels)
print(f"\n1. 父节点基尼值: {gini_parent:.4f}")

# 各子节点基尼值
for value in np.unique(feature):
    subset = labels[feature == value]
    gini_sub = gini(subset)
    weight = len(subset) / len(labels)
    contribution = weight * gini_sub
    print(f"  {value}: {len(subset)}/{len(labels)} = {weight:.4f}, 基尼值={gini_sub:.4f}, 贡献={contribution:.4f}")

print(f"\n2. 基尼指数: {gi:.4f}")

# 3. 比较不同特征的基尼指数
print("\n=== 比较不同特征的基尼指数 ===")
features = {
    '特征1': np.array(['alpha', 'alpha', 'alpha', 'alpha', 'beta', 'beta']),
    '特征2': np.array(['alpha', 'alpha', 'beta', 'beta', 'alpha', 'alpha']),
    '特征3': np.array(['alpha', 'beta', 'alpha', 'beta', 'alpha', 'beta'])
}

for name, feat in features.items():
    gi = gini_index(feat, labels)
    print(f"{name}: 基尼指数 = {gi:.4f}")

print("\nCART选择基尼指数最小的特征作为划分节点")

# 4. 三种决策树对比
print("\n=== 三种决策树对比 ===")
print("ID3: 信息增益越大越好")
print("C4.5: 信息增益率越大越好")
print("CART: 基尼指数越小越好")