知识卡片
策略梯度基线降低估计方差
策略梯度可将采样回报减去不依赖当前动作的基线,再用差值加权动作对数概率梯度。适当的基线可降低估计方差而不改变期望梯度;状态价值函数常被用作基线,差值衡量相对于该状态平均表现的好坏。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 强化学习 14.3.4 使用折扣累积奖励减去基线作为评价标准 · 查看原书依据
好或坏是相对的,假设在游戏里面,每采取一个动作的时候,最低分预设为10 分,因此得到 10 分的奖励算是差的. 用 来表示评估标准会有一个问题,在游戏里面,可能永远都会拿到正的分数,对每一个动作都给出正的分数,只是高低不同, 算出来的结果也都是正的,有些动作其实是不好的,但是我们仍然鼓励模型采取这些动作.因此,我们在版本3中需要做一下标准化,最简单的方法是把所有的 都减掉一个基线,让 有正有负,让特别高的 是正的,而让特别低的 是负的,如图14.19所示.
参考来源
- 位置:《深度学习详解》第14章《强化学习》14.3.4 使用折扣累积奖励减去基线作为评价标准(来源项目 book-source:`extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter14.xhtml`)
- 结论依据:原文描述折扣、基线、策略数据分布与价值估计,书中示意公式结合上下文说明。
- 原始内容:好或坏是相对的,假设在游戏里面,每采取一个动作的时候,最低分预设为10 分,因此得到 10 分的奖励算是差的. 用 来表示评估标准会有一个问题,在游戏里面,可能永远都会拿到正的分数,对每一个动作都给出正的分数,只是高低不同, 算出来的结果也都是正的,有些动作其实是不好的,但是我们仍然鼓励模型采取这些动作.因此,我们在版本3中需要做一下标准化,最简单的方法是把所有的 都减掉一个基线,让 有正有负,让特别高的 是正的,而让特别低的 是负的,如图14.19所示.