英译法案例 - 数据清洗函数

1 课程概览

本课讲解数据清洗函数 normalizeString 的实现。对字符串进行规范化处理：①转小写并去除首尾空白；②在特殊符号（.!?）前加空格，方便后续裁剪。使用正则表达式的捕获组（小括号）和 re.sub 进行替换。

2 核心概念与定义

normalizeString：字符串规范化处理函数。
lower()：将字符串转成小写。
strip()：去除首尾空白字符。
re.sub：正则表达式替换函数。
捕获组：正则表达式中用小括号 () 分组，用 \1 引用。

3 模型与算法详解

数据清洗步骤

第一步：转小写并去除首尾空白

s = s.lower().strip()

lower()：转成小写
strip()：去除首尾空格

第二步：在特殊符号前加空格

s = re.sub(r"([.!?])", r" \1", s)

正则表达式 ([.!?])：匹配 .、!、? 中的任意一个
小括号 ()：捕获组
\1：引用第一组的内容
替换为 \1：在符号前加空格

re.sub 函数详解

re.sub(pattern, repl, string)

参数	说明
pattern	正则表达式（要被替换的内容）
repl	替换的内容
string	要操作的字符串

示例：

输入："Hello!How are you?"
输出："Hello ! How are you ?"

正则表达式捕获组

正则表达式：([.!?])
- ()    ：小括号代表分组
- [.!?] ：匹配 . ! ? 中的任意一个
- \1    ：引用第一组的内容

4 数学原理与推导

本课为字符串处理，无数学原理。

5 代码示例

import re

# 特殊 token 定义
SOS = 0  # Start of Sentence
EOS = 1  # End of Sentence

MAX_LENGTH = 10  # 最大句子长度


def normalizeString(s):
    """
    字符串规范化处理函数
    用于文本的预处理
    
    :param s: 需要处理的字符串
    :return: 处理后的字符串
    """
    # 第一步：将字符串转成小写形式并去除首尾空白字符
    s = s.lower().strip()
    
    # 第二步：在 . ! ? 前加一个空格
    # 使用正则表达式的捕获组
    # ([.!?]) 匹配 . ! ? 中的任意一个，小括号是捕获组
    # r" \1" 在匹配到的符号前加一个空格，\1 引用第一组
    s = re.sub(r"([.!?])", r" \1", s)
    
    # 第三步：将非字母字符替换为空格（可选）
    s = re.sub(r"[^a-zA-Z.!?]+", r" ", s)
    
    return s


# 测试
if __name__ == "__main__":
    # 测试数据
    test_string = "Hello!How are you?I'm fine."
    result = normalizeString(test_string)
    print("原始字符串:", test_string)
    print("处理后字符串:", result)
    # 输出: hello ! how are you ? i m fine .