FastText 模型参数设定

1 课程概览

本课讲解 FastText 训练时的超参数设定，包括模型类型（CBOW/Skip-Gram）、词向量维度（dim）、训练轮数（epoch）、学习率（lr）、线程数（thread）等。通过手动调整参数，可以优化词向量训练效果。

2 核心概念与定义

超参数（Hyperparameters）：训练前手动设定的参数，如 model、dim、epoch、lr、thread。
CBOW 模式：基于两端预测中间的词向量训练模式。
Skip-Gram 模式：基于中间预测两端的词向量训练模式（FastText 默认）。

3 模型与算法详解

默认参数 vs 手动参数

参数	默认值	手动设定示例	说明
input	-	"./data/wiki02_7A"	训练数据路径
model	skipgram	cbow	模型类型
dim	100	50	词向量维度
epoch	5	1	训练轮数
lr	0.05	0.01	学习率
thread	CPU核数-1	10	线程数

常用超参数详解

input：训练数据路径
model：模型类型（skipgram 或 cbow）
dim：词向量维度，每个词用多少数字表示
epoch：训练轮数，数据遍历次数
lr：学习率，控制参数更新步长
thread：线程数，并行训练加速

线程数说明

默认值：multiprocessing.cpu_count() - 1（CPU 核数 - 1）
示例：16 核 16 线程 CPU → 默认 15 个线程
手动设定：10 已经足够多

训练流程回顾

获取序列数据（file9 数据集）
词向量的训练、保存、加载和查看
- 方式一：直接用默认参数训练
- 方式二：手动调整超参数训练
模型效果的检验（找近义词）
模型超参的设定

4 数学原理与推导

CBOW vs Skip-Gram 训练目标

CBOW（基于两端预测中间）：

$$\max_\theta \frac{1}{T} \sum_{t=1}^{T} \log p(w_t | w_{t-c}, ..., w_{t-1}, w_{t+1}, ..., w_{t+c}; \theta)$$

Skip-Gram（基于中间预测两端）：

$$\max_\theta \frac{1}{T} \sum_{t=1}^{T} \sum_{-c \leq j \leq c, j \neq 0} \log p(w_{t+j} | w_t; \theta)$$

词向量维度

$$\text{WordVector}(w_i) \in \mathbb{R}^{d}$$

其中 $d$ 为 dim 参数，默认 100，可手动调整为 50、500 等。

5 代码示例

import fasttext

# 函数4：超参数设定
def dm04_set_hyperparameters():
    # 1. 直接开始训练（默认参数，注释掉）
    # my_model = fasttext.train_unsupervised(input="./data/wiki02_7A")
    
    # 2. 手动调整超参数
    my_model = fasttext.train_unsupervised(
        input="./data/wiki02_7A",  # 训练数据路径
        model="cbow",              # 模型类型：CBOW（默认 skipgram）
        dim=50,                    # 词向量维度：50（默认 100）
        epoch=1,                   # 训练轮数：1（默认 5）
        lr=0.01,                   # 学习率：0.01（默认 0.05）
        thread=10                  # 线程数：10（默认 CPU核数-1）
    )
    
    # 3. 保存模型为二进制文件
    my_model.save_model("./model/wiki02_7A_new.bin")
    print("训练完毕，模型保存成功！")


# 测试
if __name__ == "__main__":
    dm04_set_hyperparameters()