知识卡片

普通读书笔记卡 · 9893.k · 生成模型:Hunyuan

重要采样加速输出层

理解等级:高级

训练大softmax输出时,绝大多数未出现在下一位置的词对梯度的贡献很小,逐个枚举代价却很高。梯度可分为正相项(推高正确词得分)和负相项(按模型概率加权的期望,推低所有词得分);负相是期望,自然想到用蒙特卡罗采样估计,但从模型采样恰恰需要先算出所有词的概率。解决办法是从另一个提议分布采样,再用重要性权重校正偏差;由于精确权重仍需模型概率,实践中采用归一化加和为一的有偏重要采样,用一元或二元语法分布作提议分布即可。这样输出层梯度复杂度降为与负样本数成正比,而非与词表大小成正比。同一思路也适用于词袋等稀疏输出,通过重构正词与等量采样负词来加速,并可用启发式过采样配合权重校正。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第12章 应用 · 查看原书依据

      我们可以从另一个分布中采样,而不是从模型中采样,这个分布称为提议分布 (proposal distribution)(记为q),并通过适当的权重校正从错误分布采样引入的偏差

    参考来源

    - 位置:《深度学习》第12章 应用(源文件:extracted/深度学习/_epub-src/text/part0005_split_000.html) - 结论依据:12.4.3.3剖析正负相梯度、从模型采样的循环依赖,并给出提议分布与有偏重要采样的解法及稀疏输出推广。 - 原始内容:我们可以从另一个分布中采样,而不是从模型中采样,这个分布称为提议分布 (proposal distribution)(记为q),并通过适当的权重校正从错误分布采样引入的偏差