知识卡片

操作参考卡 · 9906.d · 生成模型:Hunyuan

Word2vec负采样训练

理解等级:中级

原始的Word2vec多分类结构在词表很大时几乎无法训练:若词表有一万,输出层就有上万个神经元,每次迭代都要计算全部词的预测误差,计算量难以承受。负采样把训练负担大幅降低,它不再对所有词计算误差,只对采样出的少数负样本计算。于是优化目标从多分类退化为近似二分类,每轮的计算复杂度可以缩小到原来的千分之一量级。负样本集合通常很小,实际应用中常小于10。另一种加速方法是层级softmax,但实现复杂且效果没有明显优于负采样,因此较少采用。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第4章 Embedding技术在推荐系统中的应用 · 查看原书依据

      为了减轻 Word2vec 的训练负担,往往采用负采样(Negative Sampling)的方法进行训练。相比原来需要计算所有字典中所有词的预测误差,负采样方法只需要对采样出的几个负样本计算预测误差。在此情况下,Word2vec 模型的优化目标从一个多分类问题退化成了一个近似二分类问题

    参考来源

    - 位置:《深度学习推荐系统》第4章 Embedding技术在推荐系统中的应用(源文件:extracted/深度学习推荐系统/_epub-src/text/part0008_split_002.html) - 结论依据:原文4.2.3节以一万词表为例说明全量计算的不可行性,指出负采样只算采样出的几个负样本,使多分类退化为近似二分类,并比较了层级softmax。 - 原始内容:为了减轻 Word2vec 的训练负担,往往采用负采样(Negative Sampling)的方法进行训练。相比原来需要计算所有字典中所有词的预测误差,负采样方法只需要对采样出的几个负样本计算预测误差。在此情况下,Word2vec 模型的优化目标从一个多分类问题退化成了一个近似二分类问题