知识卡片
TRPO限制策略更新
TRPO 优化策略目标时,用新旧策略之间的 KL 散度约束更新范围,避免一步改变过大;实际求解用近似和线搜索降低计算成本并检查约束。理论保证依赖假设,有限样本与近似实现不保证每次真实回报都提高。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第8章 强化学习
原书出处 · 1 处
- 强化学习 · 查看原书依据
TRPO使用KL散度来衡量策略之间的距离
参考来源
- 位置:《现代人工智能技术》第8章《强化学习》(来源项目:book-source;源文件:extracted/现代人工智能技术/_epub-src/EPUB/xhtml/chapter10.xhtml)
- 结论依据:原文说明信任区域、KL 约束、共轭梯度和线搜索。
- 原始内容:TRPO使用KL散度来衡量策略之间的距离