← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9875.e · 生成模型:Hunyuan

新旧策略回报差转化

理解等级:高级

为了让回报差分解式中显式出现策略 π 的参数,TRPO把优势函数的期望写成对轨迹求和的形式:E[Σ_t A(s_t,a_t)] = Σ_s ρ_π(s) Σ_a π(a|s) A(s,a)(忽略折扣时),其中 ρ_π(s)=Σ_t P(s_t=s|π) 是状态访问频率,即对整个时间序列求和得到的状态边际分布;π(a|s) 是状态 s 下选动作 a 的概率,内层对动作空间求和、外层对状态空间求和。图8.3称这一步为“TRPO中最重要的等式”,因为它把抽象的轨迹期望变成了可微、可用重要性采样处理的规范化求和。直觉是把“每条轨迹的优势”摊成“每个状态的期望优势”,从而为用旧策略数据估计新策略回报铺平道路。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深入浅出强化学习:原理入门》第8章 基于置信域策略优化的强化学习方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00018.html) - 结论依据:正文指出需对公式(8.2)进一步加工转化以出现策略项,并对新旧策略回报差进行转化,图8.3标题即为“TRPO中最重要的等式”,随后给出联合概率与状态、动作边际分布的定义。 - 原始内容:为了在等式(8.2)中出现策略项,我们需要对公式(8.2)进一步加工转化。如图8.3所示,我们对新旧策略回报差进行转化。 图8.3 TRPO中最重要的等式