英译法案例 - 基于 GRU 的无 Attention 的解码器思路分析

import torch
import torch.nn as nn
import torch.nn.functional as F


class DecoderGRU(nn.Module):
    """基于 GRU 的无 Attention 解码器"""
    
    def __init__(self, hidden_size, output_size):
        """
        初始化函数
        
        Args:
            hidden_size: 隐藏层维度（256）
            output_size: 输出维度（4345，法语词汇表大小）
        """
        super(DecoderGRU, self).__init__()
        self.hidden_size = hidden_size
        
        # 1. 词嵌入层
        self.embedding = nn.Embedding(output_size, hidden_size)
        
        # 2. GRU 层（输入 256，输出 256）
        self.gru = nn.GRU(hidden_size, hidden_size)
        
        # 3. 线性层（256 → 4345）
        self.out = nn.Linear(hidden_size, output_size)
        
        # 4. LogSoftmax
        self.softmax = nn.LogSoftmax(dim=1)
    
    def forward(self, input, hidden):
        """
        前向传播
        
        Args:
            input: 本次输入 [1, 1]
            hidden: 上次隐藏状态 [1, 1, 256]
        
        Returns:
            output: 概率分布 [1, 4345]
            hidden: 本次隐藏状态 [1, 1, 256]
        """
        # 1. 词嵌入：[1, 1] → [1, 1, 256]
        embedded = self.embedding(input).view(1, 1, -1)
        embedded = F.relu(embedded)
        
        # 2. GRU：[1, 1, 256] → [1, 1, 256], [1, 1, 256]
        output, hidden = self.gru(embedded, hidden)
        
        # 3. 线性层：[1, 256] → [1, 4345]
        output = self.out(output[0])
        
        # 4. LogSoftmax：[1, 4345] → [1, 4345]
        output = self.softmax(output)
        
        return output, hidden
    
    def initHidden(self):
        """初始化隐藏状态"""
        return torch.zeros(1, 1, self.hidden_size)


# 测试
if __name__ == "__main__":
    print("=== 英译法案例 - 基于 GRU 的无 Attention 解码器 ===")
    
    hidden_size = 256
    output_size = 4345  # 法语词汇表大小
    
    # 创建解码器
    decoder = DecoderGRU(hidden_size, output_size)
    
    # 创建输入
    input_tensor = torch.tensor([[1]])  # [1, 1]
    hidden = decoder.initHidden()  # [1, 1, 256]
    
    print(f"输入形状: {input_tensor.shape}")
    print(f"隐藏状态形状: {hidden.shape}")
    
    # 前向传播
    output, hidden = decoder(input_tensor, hidden)
    
    print(f"\n输出形状: {output.shape}")  # [1, 4345]
    print(f"隐藏状态形状: {hidden.shape}")  # [1, 1, 256]
    print(f"概率最高的词索引: {output.topk(1).indices.item()}")