英译法案例 - 数据预处理函数

1 课程概览

本课讲解数据预处理函数 my_get_data，读取原始文件数据并清洗文本、构建双语句子对。使用 with open 读取文件，readlines 一次性读取所有行，split('\t') 分割英文和法文，normalizeString 清洗文本。

2 核心概念与定义

my_get_data：数据预处理函数，读取并清洗数据。
readlines：一次性读取所有行，格式为列表，最后有 \n。
split('\t')：按制表符分割英文和法文。
normalizeString：字符串规范化处理函数。
双语句子对（pairs）：[英文, 法文] 的列表。

3 模型与算法详解

数据预处理步骤

第一步：读取原始文件数据

with open(path, 'r', encoding='utf-8') as f:
    lines = f.readlines()

readlines：一次性读取所有行
格式为列表，每行末尾有 \n

第二步：清洗文本并构建双语句子对

pairs = [[normalizeString(s) for s in line.split('\t')] for line in lines]

line.split('\t')：按制表符分割英文和法文
normalizeString(s)：清洗每个句子
列表推导式：构建 [[英文, 法文], ...]

数据格式

原始数据：I am a student\tJe suis un étudiant\n
分割后：['I am a student', 'Je suis un étudiant\n']
清洗后：['i am a student', 'je suis un étudiant']

列表推导式解析

# 嵌套列表推导式
pairs = [[normalizeString(s) for s in line.split('\t')] for line in lines]

# 等价于
pairs = []
for line in lines:
    pair = []
    for s in line.split('\t'):
        pair.append(normalizeString(s))
    pairs.append(pair)

4 数学原理与推导

本课为数据处理，无数学原理。

5 代码示例

import re

# 特殊 token 定义
SOS = 0  # Start of Sentence
EOS = 1  # End of Sentence

MAX_LENGTH = 10  # 最大句子长度

# 数据文件路径
path = './data/eng-fra.txt'


def normalizeString(s):
    """字符串规范化处理函数"""
    s = s.lower().strip()
    s = re.sub(r"([.!?])", r" \1", s)
    s = re.sub(r"[^a-zA-Z.!?]+", r" ", s)
    return s


def my_get_data(path):
    """
    数据预处理函数
    读取原始文件数据，清洗文本并构建双语句子对
    
    :param path: 数据文件路径
    :return: 双语句子对 [[英文, 法文], ...]
    """
    # 第一步：读取原始文件数据
    print("1.1 打开文件并读取")
    with open(path, 'r', encoding='utf-8') as f:
        lines = f.readlines()
    
    # 第二步：清洗文本并构建双语句子对
    print("1.2 清洗文本并构建双语句子对")
    pairs = [[normalizeString(s) for s in line.split('\t')] for line in lines]
    
    return pairs


# 测试
if __name__ == "__main__":
    pairs = my_get_data(path)
    
    # 查看前 5 条数据
    print("前 5 条数据:")
    for i in range(5):
        print(f"英文: {pairs[i][0]}")
        print(f"法文: {pairs[i][1]}")
        print("-" * 50)
    
    print(f"总数据量: {len(pairs)}")