英译法案例 - 构建数据集对象

1 课程概览

本课讲解构建数据集对象 MyPairsDataset，继承自 Dataset。实现三个方法：__init__（保存双语句子对、计算样本总数）、__len__（返回样本总数）、__getitem__（根据索引获取单个样本，修正索引值确保在有效范围内）。

2 核心概念与定义

MyPairsDataset：自定义数据集类，继承自 Dataset。
Dataset：PyTorch 的数据集基类。
init：初始化函数，保存数据。
len：返回样本总数。
getitem：根据索引获取单个样本。
索引修正：确保索引在 [0, 样本总数-1] 范围内。

3 模型与算法详解

数据集类结构

class MyPairsDataset(Dataset):
    def __init__(self, my_pairs):
        # 保存双语句子对
        # 计算样本总数
    
    def __len__(self):
        # 返回样本总数
    
    def __getitem__(self, index):
        # 修正索引值
        # 获取单个样本

三个方法详解

方法一：`init`（初始化）

保存双语句子对：self.my_pairs = my_pairs
计算样本总数：self.n_samples = len(my_pairs)

方法二：`len`（样本总数）

返回样本总数：return self.n_samples

方法三：`getitem`（获取单个样本）

修正索引值：确保在 [0, 样本总数-1] 范围内
获取样本：return self.my_pairs[index]

索引修正规则

索引不能小于 0
索引不能大于样本总数 - 1

示例：10 个样本，索引范围 [0, 9]

4 数学原理与推导

本课为数据集构建，无数学原理。

5 代码示例

from torch.utils.data import Dataset


class MyPairsDataset(Dataset):
    """数据集类，表示双语句子对"""
    
    def __init__(self, my_pairs):
        """
        初始化函数
        
        :param my_pairs: 双语句子对 [[英文, 法文], ...]
        """
        # 1. 保存双语句子对
        self.my_pairs = my_pairs
        # 2. 计算样本总数
        self.n_samples = len(my_pairs)
    
    def __len__(self):
        """返回样本总数"""
        return self.n_samples
    
    def __getitem__(self, index):
        """
        获取单个样本
        
        :param index: 索引
        :return: 双语句子对 [英文, 法文]
        """
        # 修正索引值，确保在有效范围内
        index = index % self.n_samples  # 确保在 [0, n_samples-1] 范围内
        
        # 获取样本
        return self.my_pairs[index]


# 测试
if __name__ == "__main__":
    # 模拟数据
    my_pairs = [
        ["i am a student", "je suis un étudiant"],
        ["hello world", "bonjour le monde"],
        ["how are you", "comment allez-vous"],
    ]
    
    # 创建数据集对象
    my_dataset = MyPairsDataset(my_pairs)
    
    # 测试 __len__
    print("样本总数:", len(my_dataset))
    
    # 测试 __getitem__
    for i in range(len(my_dataset)):
        sample = my_dataset[i]
        print(f"索引 {i}: 英文={sample[0]}, 法文={sample[1]}")