知识卡片
Gensim训练词向量的参数
Gensim 的 Word2Vec 把前面所有设计选择收进少数几个参数,训练流程是:给出分词后的句子列表 → 建词典 → 按 sg/hs 选模型与算法 → 按 window 截窗口训练 → 得到每个词的向量。按用途分四组记最省事:
| 用途 | 参数 | 取值与含义 |
|---|---|---|
| 选模型 | sg |
0=CBOW(默认),1=Skip-Gram |
| 选算法 | hs |
0=负采样(默认),1=Hierarchical Softmax |
| 负采样量 | negative |
>0 时启用负采样,噪声词个数常取 5~20,默认 5 |
| 向量维度 | size |
默认 100;几十到几百,越大需要越多数据 |
| 上下文 | window |
默认 5,是上限,底层随机取不超过它的窗口 |
| 词表裁剪 | min_count |
词频低于此值丢弃,默认 5;小语料要调小 |
| 高频降采样 | sample |
默认 1e−3,可用范围 (0, 1e−5) |
| 投影层方式 | cbow_mean |
0=求和,1=均值(默认) |
| 训练控制 | iter / alpha / min_alpha / workers |
迭代轮数默认 5;学习率从 alpha 线性降到 min_alpha;workers 控制并行 |
| 内存控制 | max_vocab_size / batch_words |
词表超限时删最不频繁的词;每批词数默认 10000 |
使用要点:
sg与hs是两个独立开关,四种组合都合法,按上一张卡的取舍表选(见 [[Word2Vec的选型取舍]])。window不是固定窗口。原文强调它只是 max window size,底层会生成不超过它的随机窗口,所以同一份语料两次训练结果不同(可用seed固定)。min_count是隐形的最强正则:调大能过滤噪声、缩小词表,但会让低频词直接没有向量。- 大语料不要一次性装进内存,用流式方式构造句子迭代器;
max_vocab_size可按”每一千万词约 1GB RAM”估算。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第14章 Word2Vec和Doc2Vec词向量模型 14.1.6 Word2Vec应用实例 · 查看原书依据
● sg:用于选择训练模型,默认为0,表示使用CBOW模型;如果设置sg=1,则表示采用Skip-Gram模型。
参考来源
- 位置:《机器学习基础:从入门到求职》第14章《第14章 Word2Vec和Doc2Vec词向量模型》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00017.html)
- 结论依据:原文 14.1.6 节逐个列出 Gensim Word2Vec 的参数含义,包括 sg、hs、size、window、min_count、negative、sample 等。
- 原始内容:● sg:用于选择训练模型,默认为0,表示使用CBOW模型;如果设置sg=1,则表示采用Skip-Gram模型。