知识卡片
重要采样加速输出层
训练大softmax输出时,绝大多数未出现在下一位置的词对梯度的贡献很小,逐个枚举代价却很高。梯度可分为正相项(推高正确词得分)和负相项(按模型概率加权的期望,推低所有词得分);负相是期望,自然想到用蒙特卡罗采样估计,但从模型采样恰恰需要先算出所有词的概率。解决办法是从另一个提议分布采样,再用重要性权重校正偏差;由于精确权重仍需模型概率,实践中采用归一化加和为一的有偏重要采样,用一元或二元语法分布作提议分布即可。这样输出层梯度复杂度降为与负样本数成正比,而非与词表大小成正比。同一思路也适用于词袋等稀疏输出,通过重构正词与等量采样负词来加速,并可用启发式过采样配合权重校正。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第12章 应用
原书出处 · 1 处
- 第12章 应用 · 查看原书依据
我们可以从另一个分布中采样,而不是从模型中采样,这个分布称为提议分布 (proposal distribution)(记为q),并通过适当的权重校正从错误分布采样引入的偏差
参考来源
- 位置:《深度学习》第12章 应用(源文件:extracted/深度学习/_epub-src/text/part0005_split_000.html)
- 结论依据:12.4.3.3剖析正负相梯度、从模型采样的循环依赖,并给出提议分布与有偏重要采样的解法及稀疏输出推广。
- 原始内容:我们可以从另一个分布中采样,而不是从模型中采样,这个分布称为提议分布 (proposal distribution)(记为q),并通过适当的权重校正从错误分布采样引入的偏差