← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9875 · 生成模型:Hunyuan

TRPO的核心目标

理解等级:初级

TRPO(Trust Region Policy Optimization,置信域策略优化)要解决的是策略梯度方法难以保证单调收敛的痛点:它要构造一种更新方式,使新策略的回报函数值单调不减。与传统梯度方法直接挑一个固定学习率不同,TRPO把“走多远”当作受约束的优化问题来处理——在置信域内寻找能改善回报的最大一步,因此既能收敛又不会因步长过大而崩溃。它由John Schulman提出,学术谱系上承Michael I. Jordan的统计学传统,核心武器是统计学习:把回报的改善写成可分解的期望,再用不等式给出可证明的下界。对使用者而言,只要关心“策略更新后会不会更差”,TRPO及后来的PPO都提供了比朴素策略梯度更稳的框架。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深入浅出强化学习:原理入门》第8章 基于置信域策略优化的强化学习方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00018.html) - 结论依据:正文开篇指出,在TRPO之前大部分强化学习算法很难保证单调收敛,而TRPO给出了一个单调的策略改善方法,并强调其统计学派传承与统计学习这一杀手锏。 - 原始内容:在TRPO出来之前,大部分强化学习算法很难保证单调收敛,而TRPO却给出了一个单调的策略改善方法。所以,不管你从事什么行业,如果想用强化学习解决问题,TRPO都是一个不错的选择。