← 返回刚才阅读的位置

知识卡片

操作参考卡 · 9835.g · 生成模型:DeepSeek-V4.1-Flash

Gensim训练词向量的参数

理解等级:初级

Gensim 的 Word2Vec 把前面所有设计选择收进少数几个参数,训练流程是:给出分词后的句子列表 → 建词典 → 按 sg/hs 选模型与算法 → 按 window 截窗口训练 → 得到每个词的向量。按用途分四组记最省事:

用途 参数 取值与含义
选模型 sg 0=CBOW(默认),1=Skip-Gram
选算法 hs 0=负采样(默认),1=Hierarchical Softmax
负采样量 negative >0 时启用负采样,噪声词个数常取 5~20,默认 5
向量维度 size 默认 100;几十到几百,越大需要越多数据
上下文 window 默认 5,是上限,底层随机取不超过它的窗口
词表裁剪 min_count 词频低于此值丢弃,默认 5;小语料要调小
高频降采样 sample 默认 1e−3,可用范围 (0, 1e−5)
投影层方式 cbow_mean 0=求和,1=均值(默认)
训练控制 iter / alpha / min_alpha / workers 迭代轮数默认 5;学习率从 alpha 线性降到 min_alpha;workers 控制并行
内存控制 max_vocab_size / batch_words 词表超限时删最不频繁的词;每批词数默认 10000

使用要点:

  1. sg 与 hs 是两个独立开关,四种组合都合法,按上一张卡的取舍表选(见 [[Word2Vec的选型取舍]])。
  2. window 不是固定窗口。原文强调它只是 max window size,底层会生成不超过它的随机窗口,所以同一份语料两次训练结果不同(可用 seed 固定)。
  3. min_count 是隐形的最强正则:调大能过滤噪声、缩小词表,但会让低频词直接没有向量。
  4. 大语料不要一次性装进内存,用流式方式构造句子迭代器;max_vocab_size 可按”每一千万词约 1GB RAM”估算。
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第14章《第14章 Word2Vec和Doc2Vec词向量模型》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00017.html) - 结论依据:原文 14.1.6 节逐个列出 Gensim Word2Vec 的参数含义,包括 sg、hs、size、window、min_count、negative、sample 等。 - 原始内容:● sg:用于选择训练模型,默认为0,表示使用CBOW模型;如果设置sg=1,则表示采用Skip-Gram模型。