知识卡片
新旧策略回报差转化
为了让回报差分解式中显式出现策略 π 的参数,TRPO把优势函数的期望写成对轨迹求和的形式:E[Σ_t A(s_t,a_t)] = Σ_s ρ_π(s) Σ_a π(a|s) A(s,a)(忽略折扣时),其中 ρ_π(s)=Σ_t P(s_t=s|π) 是状态访问频率,即对整个时间序列求和得到的状态边际分布;π(a|s) 是状态 s 下选动作 a 的概率,内层对动作空间求和、外层对状态空间求和。图8.3称这一步为“TRPO中最重要的等式”,因为它把抽象的轨迹期望变成了可微、可用重要性采样处理的规范化求和。直觉是把“每条轨迹的优势”摊成“每个状态的期望优势”,从而为用旧策略数据估计新策略回报铺平道路。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第8章 基于置信域策略优化的强化学习方法 · 查看原书依据
为了在等式(8.2)中出现策略项,我们需要对公式(8.2)进一步加工转化。如图8.3所示,我们对新旧策略回报差进行转化。 图8.3 TRPO中最重要的等式
参考来源
- 位置:《深入浅出强化学习:原理入门》第8章 基于置信域策略优化的强化学习方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00018.html)
- 结论依据:正文指出需对公式(8.2)进一步加工转化以出现策略项,并对新旧策略回报差进行转化,图8.3标题即为“TRPO中最重要的等式”,随后给出联合概率与状态、动作边际分布的定义。
- 原始内容:为了在等式(8.2)中出现策略项,我们需要对公式(8.2)进一步加工转化。如图8.3所示,我们对新旧策略回报差进行转化。 图8.3 TRPO中最重要的等式