文本分析 - 正负样本长度散点分布

import pandas as pd
import seaborn as sns
import matplotlib.pyplot as plt

# 定义函数：训练集和测试集的正负样本长度散点分布
def dm03_strip_plot():
    # 1. 读取训练集和测试集
    train_data = pd.read_csv("./data/train.tsv", sep="\t")
    test_data = pd.read_csv("./data/test.tsv", sep="\t")
    
    # 2. 获取数据长度序列
    train_data["sentence_len"] = list(
        map(lambda x: len(x), train_data["sentence"])
    )
    test_data["sentence_len"] = list(
        map(lambda x: len(x), test_data["sentence"])
    )
    
    # 3. 绘制正负样本长度散点分布
    plt.figure(figsize=(12, 5))
    
    # 3.1 训练集散点图
    plt.subplot(1, 2, 1)
    sns.stripplot(
        x="label",            # X轴：标签（0=差评，1=好评）
        y="sentence_len",     # Y轴：句子长度
        data=train_data,      # 数据集
        hue="label"           # 分组字段（不同标签不同颜色）
    )
    plt.title("训练集正负样本长度散点分布")
    
    # 3.2 测试集散点图
    plt.subplot(1, 2, 2)
    sns.stripplot(
        x="label",
        y="sentence_len",
        data=test_data,
        hue="label"
    )
    plt.title("测试集正负样本长度散点分布")
    
    plt.show()

# 测试
if __name__ == "__main__":
    dm03_strip_plot()

# 查看长度超过 3000 的异常评论
outliers = train_data[train_data["sentence_len"] > 3000]
for idx, row in outliers.iterrows():
    print(f"长度: {row['sentence_len']}")
    print(f"内容: {row['sentence']}")
    print("-" * 50)