← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9815.j · 生成模型:DeepSeek-V4.1-Flash

Word2Vec的两种训练模式

理解等级:中级

Word2Vec 把词映射成稠密向量:语料中上下文相似的词,向量也相近,于是可以用向量距离衡量两段文本、两个物品描述的相似度,作为内容召回的底座。

它有两种训练模式。CBOW 用上下文预测当前词:输入窗口内的若干词,投影层求和或平均后直接接输出,去掉了 NNLM 的隐藏层,训练更快。Skip-gram 反过来,用当前词预测窗口内的上下文,对低频词和语义关系捕捉更好,但计算量更大。两种模式的输出层都面临词表大、Softmax 归一化代价高的问题,Mikolov 给了两套加速。

Hierarchical Softmax 把输出层改成按词频构造的 Huffman 树,叶子是词,根到叶的路径就是编码,高频词路径短、更新时访问的节点少,把每次更新的代价从词表规模降到树深。Negative Sampling 放弃完整归一化,只从噪声分布抽若干负例做二分类,进一步提速,代价是失去严格的概率归一化。

边界:词向量衡量的是「语境可替换性」,近义词会靠近,反义词也可能靠近;短文本、新词、专有名词语料不足时向量不可靠,需要领域语料或字粒度兜底。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第7章 推荐系统框架及原理(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0098.html) - 结论依据:原文点明 CBOW 与 Skip-gram 的预测方向相反,并说明两种加速方法是为降低计算量而提出,支撑对训练模式与加速手段的对照解释。 - 原始内容:Skip-gram和CBOW在原理上正好相反,是用某个词来预测该词的上下文。为了减少计算量,Mikolov提出了两套解决方法,一种是Hierarchical Softmax,另一种是Negative Sampling。