← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9901.l · 生成模型:Hunyuan

REINFORCE与方差减小

理解等级:高级

离散输出时f是阶跃函数,其导数几乎处处为零,无法提供参数更新方向。REINFORCE的思路是:虽然单个样本y的导数无用,但期望代价通常是光滑可微的,可用对数导数技巧把梯度写成期望形式E[J(y)∇log p(y)],再用蒙特卡罗平均作无偏估计。简单估计方差很高,需要大量样本或很小学习率。降低方差的方法是引入不依赖y的基线b,它不改变梯度期望却能显著减小方差;还可按移动平均标准差缩放做方差归一化。这种似然比方法把高回报的y与其参数配置关联起来。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第20章 深度生成模型 · 查看原书依据

      简单REINFORCE估计的一个问题是其具有非常高的方差,需要采 y 的许多样本才能获得对梯度的良好估计,或者等价地,如果仅绘制一个样本,则SGD将收敛得非常缓慢并将需要较小的学习率。

    参考来源

    - 位置:《深度学习》第20章 深度生成模型(源文件:extracted/深度学习/_epub-src/text/part0007.html) - 结论依据:原文说明阶跃函数导数失效、REINFORCE期望梯度公式、基线方差减小与方差归一化。 - 原始内容:简单REINFORCE估计的一个问题是其具有非常高的方差,需要采 y 的许多样本才能获得对梯度的良好估计,或者等价地,如果仅绘制一个样本,则SGD将收敛得非常缓慢并将需要较小的学习率。