知识卡片
CBOW与Skip-Gram方向相反
两个模型共用同一套输出层设计(哈夫曼树或负采样),差别只在”输入什么、预测什么”,方向正好相反:
- CBOW:输入是窗口内中心词两侧的 2n 个上下文词,把它们求和或平均成一个向量 Xw,去预测中心词 W。
- Skip-Gram:输入是中心词 V(W),输出是它上下文的 2n 个词;因为要预测 2n 个目标,相当于把 CBOW 的那一套训练过程重复 2n 次。
由此产生两个实际差别:
- 速度:CBOW 一个样本只做一次预测,但一次更新 2n 个上下文词向量;Skip-Gram 一个样本要做 2n 次预测,训练明显更慢。
- 对词频的偏好:CBOW 把多个词的信息平滑到一起,高频词的梯度占主导,对高频词友好;Skip-Gram 中每个上下文词都单独提供一次梯度,低频词也能被反复训练,因此对罕见词更有利。原文的总结正是”Skip-Gram(慢、对罕见字有利)vs CBOW(快)”。
选择上的经验:语料大、追求速度、词频分布不极端时用 CBOW;语料较小、含大量低频词或需要更细的语义区分时用 Skip-Gram。窗口设置也随之不同——Skip-Gram 通常取 10 附近,CBOW 通常取 5 附近。
结构图:
flowchart LR
C["上下文 2n 个词"] --> M["求和或平均 Xw"] --> CB["CBOW 输出层"] --> W1["预测中心词 W"]
W2["输入中心词 V(W)"] --> SG["Skip-Gram:重复 2n 次"] --> C2["预测 2n 个上下文词"]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第14章 Word2Vec和Doc2Vec词向量模型 14.1.1 Word2Vec概述 · 查看原书依据
可以看出,它的训练过程其实和CBOW模型是一样的。只不过由于它需要预测出V(W)的上下文的2n个词向量,因此需要将CBOW的训练过程重复2n次。
参考来源
- 位置:《机器学习基础:从入门到求职》第14章《第14章 Word2Vec和Doc2Vec词向量模型》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00017.html)
- 结论依据:原文明确 CBOW 用上下文预测中心词、Skip-Gram 相反,并说明 Skip-Gram 因需预测 2n 个上下文词而要重复 CBOW 的训练过程 2n 次。
- 原始内容:可以看出,它的训练过程其实和CBOW模型是一样的。只不过由于它需要预测出V(W)的上下文的2n个词向量,因此需要将CBOW的训练过程重复2n次。