知识卡片
平均KL与优化化简
直接用上面的下界会遇到两个障碍:最大KL约束要求对所有无穷多个状态都成立,约束个数无穷因而不可解;惩罚因子 C 又会逼得每步极小。TRPO的第三个技巧是用平均KL散度 E_s[D_KL(π_old(·|s)||π_new(·|s))]≤δ 代替最大KL散度,把无穷约束压成一个期望约束。第四个技巧是把目标函数做一阶逼近、把KL约束做二阶逼近:KL 约等于二阶项 ½(θ−θ_old)^T F (θ−θ_old),其中 F 是由 ∇logπ 外积期望构成的矩阵。于是原问题化为标准带约束优化 max g^T Δθ,满足 ½Δθ^T F Δθ≤δ,其中 g 是目标梯度、Δθ 是参数更新量。这一步让TRPO能交给共轭梯度法高效求解,也是它与只能固定学习率的策略梯度在实现上的根本区别。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第8章 基于置信域策略优化的强化学习方法 · 查看原书依据
需要注意的是,因为有无穷多的状态,因此约束条件 有无穷多,问题不可解。 (3)TRPO第三个技巧 在约束条件中,利用平均KL散度代替最大KL散度
参考来源
- 位置:《深入浅出强化学习:原理入门》第8章 基于置信域策略优化的强化学习方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00018.html)
- 结论依据:正文指出因状态无穷导致约束不可解,第三个技巧用平均KL散度代替最大KL散度,第四个技巧把目标函数一阶逼近、约束条件二阶逼近,从而得到标准优化问题。
- 原始内容:需要注意的是,因为有无穷多的状态,因此约束条件 有无穷多,问题不可解。 (3)TRPO第三个技巧 在约束条件中,利用平均KL散度代替最大KL散度