← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9875.c · 生成模型:Hunyuan

回报函数分解等式

理解等级:高级

TRPO的起点是Kakade在2002年提出的一个恒等式:新策略的回报 η(π_new) 等于旧策略回报 η(π_old) 加上按新策略轨迹分布对优势函数 A_old(s,a) 的期望,即 η(π_new) = η(πold) + E{τ~π_new}[Σ_t A_old(s,a)],其中 τ 是状态-行为序列。直觉是:只要这部分期望非负,新策略就一定不比旧策略差,于是“单调改善”被转化为“让优势期望≥0”的可优化目标。举个数字例子,某状态下把选动作 a 的概率从 0.3 提到 0.8,而 A(s,a)=+2,则该状态对期望的贡献从 0.3×2=0.6 变为 0.8×2=1.6,净增 1.0,回报随之上升。注意这个期望必须按新策略的轨迹分布来算,这正是后续四个技巧要处理的对象。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第8章 基于置信域策略优化的强化学习方法 · 查看原书依据

      一个自然的想法是能否将新的策略所对应的回报函数分解成旧的策略所对应的回报函数加其他项。这样,只要新的策略所对应的其他项大于等于零,那么新的策略就能保证回报函数单调不减。这样的等式其实是存在的,它是2002年由Sham Kakade提出来的

    参考来源

    - 位置:《深入浅出强化学习:原理入门》第8章 基于置信域策略优化的强化学习方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00018.html) - 结论依据:正文给出2002年Sham Kakade的等式作为TRPO起点,并用新旧策略回报差的自然分解说明只要第二项大于等于零、新策略回报就能单调不减。 - 原始内容:一个自然的想法是能否将新的策略所对应的回报函数分解成旧的策略所对应的回报函数加其他项。这样,只要新的策略所对应的其他项大于等于零,那么新的策略就能保证回报函数单调不减。这样的等式其实是存在的,它是2002年由Sham Kakade提出来的