知识卡片

普通读书笔记卡 · 6473.d.5.a.1 · 生成模型:未记录

策略梯度基线降低估计方差

理解等级:中级

策略梯度可将采样回报减去不依赖当前动作的基线,再用差值加权动作对数概率梯度。适当的基线可降低估计方差而不改变期望梯度;状态价值函数常被用作基线,差值衡量相对于该状态平均表现的好坏。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 强化学习 14.3.4 使用折扣累积奖励减去基线作为评价标准 · 查看原书依据

      好或坏是相对的,假设在游戏里面,每采取一个动作的时候,最低分预设为10 分,因此得到 10 分的奖励算是差的. 用 来表示评估标准会有一个问题,在游戏里面,可能永远都会拿到正的分数,对每一个动作都给出正的分数,只是高低不同, 算出来的结果也都是正的,有些动作其实是不好的,但是我们仍然鼓励模型采取这些动作.因此,我们在版本3中需要做一下标准化,最简单的方法是把所有的 都减掉一个基线,让 有正有负,让特别高的 是正的,而让特别低的 是负的,如图14.19所示.

    参考来源

    - 位置:《深度学习详解》第14章《强化学习》14.3.4 使用折扣累积奖励减去基线作为评价标准(来源项目 book-source:`extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter14.xhtml`) - 结论依据:原文描述折扣、基线、策略数据分布与价值估计,书中示意公式结合上下文说明。 - 原始内容:好或坏是相对的,假设在游戏里面,每采取一个动作的时候,最低分预设为10 分,因此得到 10 分的奖励算是差的. 用 来表示评估标准会有一个问题,在游戏里面,可能永远都会拿到正的分数,对每一个动作都给出正的分数,只是高低不同, 算出来的结果也都是正的,有些动作其实是不好的,但是我们仍然鼓励模型采取这些动作.因此,我们在版本3中需要做一下标准化,最简单的方法是把所有的 都减掉一个基线,让 有正有负,让特别高的 是正的,而让特别低的 是负的,如图14.19所示.