文本长度规范 - 代码实现

from tensorflow.keras.preprocessing.sequence import pad_sequences

# 1. 定义变量，记录截断/补齐长度
cut_len = 10  # 根据语料库句子长度分布自行定义

# 2. 定义函数，对输入文本进行截断补齐（第三方包）
def dm01_padding(x_train):
    """
    使用 pad_sequences 进行截断补齐
    :param x_train: 训练集（词索引列表）
    """
    # maxlen: 最大长度
    # padding: 'post' 表示在末尾补齐
    # truncating: 'post' 表示在末尾截断
    result = pad_sequences(
        x_train,
        maxlen=cut_len,
        padding='post',
        truncating='post'
    )
    print("截断补齐结果:", result)
    return result

# 测试
x_train = [
    [1, 2, 3, 5, 3, 12, 4, 5, 6, 7, 8, 9],  # 长度 > 10，截断
    [1, 2, 3, 5]                               # 长度 < 10，补齐
]
dm01_padding(x_train)

# 纯 Python 实现文本长度规范
def dm02_padding_python(x_train, cut_len=10):
    """
    纯 Python 实现截断补齐
    :param x_train: 训练集
    :param cut_len: 固定长度
    """
    result = []
    for sequence in x_train:
        if len(sequence) > cut_len:
            # 截断：取前 cut_len 个
            result.append(sequence[:cut_len])
        elif len(sequence) < cut_len:
            # 补齐：末尾补 0
            result.append(sequence + [0] * (cut_len - len(sequence)))
        else:
            # 长度正好
            result.append(sequence)
    
    print("截断补齐结果:", result)
    return result

# 测试
x_train = [
    [1, 2, 3, 5, 3, 12, 4, 5, 6, 7, 8, 9],  # 截断
    [1, 2, 3, 5]                               # 补齐
]
dm02_padding_python(x_train, cut_len=10)