英译法案例 - 获取数据加载器对象

1 课程概览

本课讲解获取数据加载器对象 get_dataloader。实例化数据集对象，创建 DataLoader（参数：数据集、batch_size、shuffle）。训练集打乱，测试集不打乱。数据加载器返回的是单词对应的索引，不是单词本身。

2 核心概念与定义

DataLoader：数据加载器，按批次获取数据。
batch_size：批次大小，实际开发中一般 8、16、32。
shuffle：是否打乱，训练集打乱，测试集不打乱。
enumerate：带索引遍历。

3 模型与算法详解

获取数据加载器的步骤

第一步：实例化数据集对象

my_dataset = MyPairsDataset(my_pairs)

第二步：创建数据加载器对象

my_dataloader = DataLoader(
    my_dataset,
    batch_size=1,  # 先用 1，实际开发中 8/16/32
    shuffle=True   # 训练集打乱
)

参数	说明
dataset	数据集对象
batch_size	批次大小
shuffle	是否打乱（训练集 True，测试集 False）

第三步：测试数据加载器

for i, (x, y) in enumerate(my_dataloader):
    print(x.shape, x)
    print(y.shape, y)
    break  # 只显示一批数据

数据格式说明

数据加载器返回的是单词对应的索引，不是单词本身。

示例：

英文句子：[16]（6 个单词的索引）
法文句子：[16]（6 个单词的索引）
内容：[13, 9, 1105, 1000, ...]（单词在词汇表中的索引）

batch_size 说明

场景	batch_size	说明
测试	1	一句一句处理
实际开发	8/16/32	批次处理

4 数学原理与推导

本课为数据加载，无数学原理。

5 代码示例

from torch.utils.data import DataLoader


def get_dataloader(my_pairs, batch_size=1, shuffle=True):
    """
    获取数据加载器对象
    
    :param my_pairs: 双语句子对
    :param batch_size: 批次大小
    :param shuffle: 是否打乱
    :return: 数据加载器对象
    """
    # 第一步：实例化数据集对象
    my_dataset = MyPairsDataset(my_pairs)
    
    # 第二步：创建数据加载器对象
    my_dataloader = DataLoader(
        my_dataset,
        batch_size=batch_size,
        shuffle=shuffle
    )
    
    return my_dataloader


# 测试
if __name__ == "__main__":
    # 假设已有 my_pairs
    my_pairs = [
        ["i am a student", "je suis un étudiant"],
        ["hello world", "bonjour le monde"],
    ]
    
    # 获取数据加载器
    my_dataloader = get_dataloader(my_pairs, batch_size=1, shuffle=True)
    
    # 测试数据加载器
    print("测试数据加载器:")
    for i, (x, y) in enumerate(my_dataloader):
        print(f"批次 {i}:")
        print(f"  英文句子形状: {x.shape}")
        print(f"  英文句子内容: {x}")
        print(f"  法文句子形状: {y.shape}")
        print(f"  法文句子内容: {y}")
        
        # 只显示一批数据
        break
    
    print("测试结束")