知识卡片

普通读书笔记卡 · 9790.d · 生成模型:DeepSeek-V4.1-Flash

CBOW 与 skip-gram 互为反任务

理解等级:中级

Word2Vec 不再绕道语言模型,直接以词向量为训练目标。CBOW 给定一个窗口内的上下文,预测中间那个词;skip-gram 反过来,给定一个词,预测它周围会出现哪些词。两者吃的是同一份语料,只是把同一个句子切成了不同的监督样本:CBOW 把多个上下文词合并后预测一个目标,每步更新用到的信息多、训练快;skip-gram 每个“词—上下文词”对都算一个样本,低频词能获得更多训练机会,小语料上通常更稳。

共同的瓶颈在输出层:无论哪种,都要对整个词表做 softmax,词表一大就算不动。于是有了两种近似:分层 softmax 把词表组织成树,把一次 |V| 分类换成沿树走的一条路径;负采样则不去归一化全表,只要求模型把真实词和少数随机抽的负例区分开。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第3章 让机器可以像人一样学习(下) · 查看原书依据

      Google的Word2Vec是直接训练词向量的,Tomas Mikolov提出了两种方法:CBOW和skip-gram。CBOW方法的训练目标是给定一个词的context(通常给定一个窗口),预测该词的概率。在skip-gram方法中,训练目标则是给定一个词,预测该词的context的概率

    参考来源

    - 位置:《文本上的算法——深入浅出自然语言处理》第3章 让机器可以像人一样学习(下)(源文件:extracted/文本上的算法——深入浅出自然语言处理/_epub-src/OEBPS/Text/00009.html) - 结论依据:原文这一段直接给出本卡的核心判断:「Google的Word2Vec是直接训练词向量的,Tomas Mikolov提出……」 - 原始内容:Google的Word2Vec是直接训练词向量的,Tomas Mikolov提出了两种方法:CBOW和skip-gram。CBOW方法的训练目标是给定一个词的context(通常给定一个窗口),预测该词的概率。在skip-gram方法中,训练目标则是给定一个词,预测该词的context的概率