知识卡片

普通读书笔记卡 · 9879.a · 生成模型:Hunyuan

PGQL组合策略梯度与Q学习

理解等级:高级

PGQL(策略梯度Q学习)把两条路线合成一个算法,体现典型的 actor-critic 思路:用当前策略配合(12.7)式估计动作值函数作评论家(critic),再用熵正则化策略梯度更新策略作执行家(actor)。可行性关键在于采用(12.8)的策略形式时,动作值函数的贝尔曼残差会随熵惩罚系数下降而收敛到0:证明把策略写成指数形式,取贪婪变换后得到残差不等式,再借助所构造函数的性质放缩即可得证。由于Q学习的目标正是减小贝尔曼残差,而该策略形式保证残差可控,二者可放心组合。PGQL先按(12.9)估计Q并用Q学习更新减小残差,再按(12.10)做熵正则化策略梯度更新,最后把两种更新加权组合。权衡在于:熵系数大则探索强但残差大,系数小则接近贪心、残差小但探索弱,需要折中。小演算示意:若残差上界与系数同向变化(如残差≈c·系数),系数从 0.5 降到 0.05,残差上界约降为十分之一,印证系数越小残差越小、并最终趋零。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深入浅出强化学习:原理入门》第12章 组合策略梯度和值函数方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00023.html) - 结论依据:正文论证采用(12.8)策略时贝尔曼残差收敛、而Q学习以减小贝尔曼残差为目标,据此把熵正则化策略梯度更新(12.10)与Q学习更新加权组合得到PGQL。 - 原始内容:通过上面的分析,我们知道采用策略(12.8)式时贝尔曼残差收敛,而Qlearning的目标是减小贝尔曼残差。因此可以将熵正则化的策略梯度方法和 Qlearning 的方法结合运用,这就是PGQL算法。