知识卡片
REINFORCE与方差减小
离散输出时f是阶跃函数,其导数几乎处处为零,无法提供参数更新方向。REINFORCE的思路是:虽然单个样本y的导数无用,但期望代价通常是光滑可微的,可用对数导数技巧把梯度写成期望形式E[J(y)∇log p(y)],再用蒙特卡罗平均作无偏估计。简单估计方差很高,需要大量样本或很小学习率。降低方差的方法是引入不依赖y的基线b,它不改变梯度期望却能显著减小方差;还可按移动平均标准差缩放做方差归一化。这种似然比方法把高回报的y与其参数配置关联起来。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第20章 深度生成模型 · 查看原书依据
简单REINFORCE估计的一个问题是其具有非常高的方差,需要采 y 的许多样本才能获得对梯度的良好估计,或者等价地,如果仅绘制一个样本,则SGD将收敛得非常缓慢并将需要较小的学习率。
参考来源
- 位置:《深度学习》第20章 深度生成模型(源文件:extracted/深度学习/_epub-src/text/part0007.html)
- 结论依据:原文说明阶跃函数导数失效、REINFORCE期望梯度公式、基线方差减小与方差归一化。
- 原始内容:简单REINFORCE估计的一个问题是其具有非常高的方差,需要采 y 的许多样本才能获得对梯度的良好估计,或者等价地,如果仅绘制一个样本,则SGD将收敛得非常缓慢并将需要较小的学习率。