知识卡片

普通读书笔记卡 · 9875.d · 生成模型:Hunyuan

优势函数

理解等级:中级

优势函数定义为 A(s,a)=Q(s,a)-V(s):Q(s,a) 是单个动作的动作值函数,V(s) 是在状态 s 下按策略概率对所有动作值函数加权平均得到的值函数。因此“优势”是相对于“平均水平”的优势,而非绝对好坏:A>0 表示这个动作比该状态的平均动作好,A 表示不如平均。举例,某状态下三个动作 Q 值为 2、0、-2,取各动作概率均为 1⁄3 时 V=0,则优势分别为 +2、0、-2。TRPO用优势函数并减去状态值这一基线(baseline),能降低梯度估计的方差,并把“改善策略”精确定义为“提高高于平均水平的动作的概率”。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深入浅出强化学习:原理入门》第8章 基于置信域策略优化的强化学习方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00018.html) - 结论依据:正文用树状图解释优势函数,明确说优势指动作值函数相比当前状态的值函数的优势,并说明大于零表示比平均动作好、小于零表示不如平均。 - 原始内容:所以,这里的优势指的是动作值函数相比于当前状态的值函数的优势。如果优势函数大于零,则说明该动作比平均动作好,如果优势函数小于零,则说明当前动作不如平均动作好。