知识卡片

结构图卡 · 9835.b · 生成模型:DeepSeek-V4.1-Flash

CBOW与Skip-Gram方向相反

理解等级:中级

两个模型共用同一套输出层设计(哈夫曼树或负采样),差别只在”输入什么、预测什么”,方向正好相反:

  • CBOW:输入是窗口内中心词两侧的 2n 个上下文词,把它们求和或平均成一个向量 Xw,去预测中心词 W。
  • Skip-Gram:输入是中心词 V(W),输出是它上下文的 2n 个词;因为要预测 2n 个目标,相当于把 CBOW 的那一套训练过程重复 2n 次。

由此产生两个实际差别:

  1. 速度:CBOW 一个样本只做一次预测,但一次更新 2n 个上下文词向量;Skip-Gram 一个样本要做 2n 次预测,训练明显更慢。
  2. 对词频的偏好:CBOW 把多个词的信息平滑到一起,高频词的梯度占主导,对高频词友好;Skip-Gram 中每个上下文词都单独提供一次梯度,低频词也能被反复训练,因此对罕见词更有利。原文的总结正是”Skip-Gram(慢、对罕见字有利)vs CBOW(快)”。

选择上的经验:语料大、追求速度、词频分布不极端时用 CBOW;语料较小、含大量低频词或需要更细的语义区分时用 Skip-Gram。窗口设置也随之不同——Skip-Gram 通常取 10 附近,CBOW 通常取 5 附近。

结构图:

flowchart LR
    C["上下文 2n 个词"] --> M["求和或平均 Xw"] --> CB["CBOW 输出层"] --> W1["预测中心词 W"]
    W2["输入中心词 V(W)"] --> SG["Skip-Gram:重复 2n 次"] --> C2["预测 2n 个上下文词"]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第14章《第14章 Word2Vec和Doc2Vec词向量模型》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00017.html) - 结论依据:原文明确 CBOW 用上下文预测中心词、Skip-Gram 相反,并说明 Skip-Gram 因需预测 2n 个上下文词而要重复 CBOW 的训练过程 2n 次。 - 原始内容:可以看出,它的训练过程其实和CBOW模型是一样的。只不过由于它需要预测出V(W)的上下文的2n个词向量,因此需要将CBOW的训练过程重复2n次。