知识卡片
Word2Vec的选型取舍
Word2Vec 有两个正交的选择轴:架构(CBOW / Skip-Gram)和训练算法(Hierarchical Softmax / Negative Sampling)。四者组合出四种实现,原书把它们的影响整理成了一张取舍表:
| 选择项 | 选项 A | 选项 B | 影响 |
|---|---|---|---|
| 架构 | Skip-Gram:慢,对罕见字有利 | CBOW:快 | 决定训练速度与低频词质量 |
| 训练算法 | Hierarchical Softmax:对罕见字有利 | Negative Sampling:对常见词和低维向量有利 | 决定每次更新的代价与词频偏好 |
| 是否负采样 | 用:准确率提高,速度变慢 | 不用:非常快,但准确性不高 | 精度与吞吐的权衡 |
| 高频词欠采样 | 采样阈值 1e−3 ~ 1e−5 | 不采样 | 提高结果准确性和速度 |
| 窗口 window | Skip-Gram 常在 10 附近 | CBOW 常在 5 附近 | 语义 vs 语法的偏向 |
几条可直接用的判断:
- 先看语料规模。语料小、含大量生僻词,选 Skip-Gram + 分层 Softmax;语料大、追求吞吐,选 CBOW + 负采样。
- 再看向量维度。维度低(几十维)时负采样更有优势;维度高、词表大时分层 Softmax 的路径优势更明显。
- 高频词要压。功能词(”的”“是”)出现过多,提供的共现信息却很弱,欠采样能同时提速和提纯。
边界:这些是经验结论,不是定理;窗口大小还与”学语法还是学主题”有关——窗口小偏向功能相似,窗口大偏向主题相关,需按下游任务验证。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第14章 Word2Vec和Doc2Vec词向量模型 14.1.5 基于Negative Sampling方法的Skip-Gram模型 · 查看原书依据
● 使用负例采样准确率提高,但速度会慢;不使用 Negative Sampling 的Word2Vec本身非常快,但是准确性不高。
参考来源
- 位置:《机器学习基础:从入门到求职》第14章《第14章 Word2Vec和Doc2Vec词向量模型》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00017.html)
- 结论依据:原文"Word2Vec 需要注意的点"逐条比较了两种架构、两种训练算法、是否负采样、欠采样与窗口大小的差异。
- 原始内容:● 使用负例采样准确率提高,但速度会慢;不使用 Negative Sampling 的Word2Vec本身非常快,但是准确性不高。