知识卡片
优势函数
优势函数定义为 A(s,a)=Q(s,a)-V(s):Q(s,a) 是单个动作的动作值函数,V(s) 是在状态 s 下按策略概率对所有动作值函数加权平均得到的值函数。因此“优势”是相对于“平均水平”的优势,而非绝对好坏:A>0 表示这个动作比该状态的平均动作好,A 表示不如平均。举例,某状态下三个动作 Q 值为 2、0、-2,取各动作概率均为 1⁄3 时 V=0,则优势分别为 +2、0、-2。TRPO用优势函数并减去状态值这一基线(baseline),能降低梯度估计的方差,并把“改善策略”精确定义为“提高高于平均水平的动作的概率”。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第8章 基于置信域策略优化的强化学习方法 · 查看原书依据
所以,这里的优势指的是动作值函数相比于当前状态的值函数的优势。如果优势函数大于零,则说明该动作比平均动作好,如果优势函数小于零,则说明当前动作不如平均动作好。
参考来源
- 位置:《深入浅出强化学习:原理入门》第8章 基于置信域策略优化的强化学习方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00018.html)
- 结论依据:正文用树状图解释优势函数,明确说优势指动作值函数相比当前状态的值函数的优势,并说明大于零表示比平均动作好、小于零表示不如平均。
- 原始内容:所以,这里的优势指的是动作值函数相比于当前状态的值函数的优势。如果优势函数大于零,则说明该动作比平均动作好,如果优势函数小于零,则说明当前动作不如平均动作好。