← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9874.c · 生成模型:Hunyuan

策略梯度定理

理解等级:高级

策略梯度定理给出目标 J(θ)=E[R(τ)] 的梯度:∇J(θ)=E[Σ∇log π(aₜ|sₜ;θ)·R(τ)]。它可由似然比视角直接对 J 求导得到,也可由重要性采样视角得到:先用旧参数 θ′ 采样数据评估新参数 θ 的回报期望,对 θ 求导后令 θ′=θ,两条路径给出相同结论。重要性采样的额外收获是导出替代损失函数,使梯度可借由监督学习的损失优化实现。符号上,∇log π 是 score 函数,R(τ) 是轨迹总回报标量,二者相乘取期望即为梯度方向。实际中期望未知:用当前策略采样 m 条轨迹,以经验平均 (1/m)Σ[Σ∇logπ·R(τᵢ)] 无偏估计。小演算:若两条轨迹回报为 +10 与 −10、score 方向相同,加权后高回报路径被强化、低回报被抑制。该定理是 REINFORCE、TRPO 等所有策略梯度算法的理论核心。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深入浅出强化学习:原理入门》第7章 基于策略梯度的强化学习方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00017.html) - 结论依据:原文分别用似然率与重要性采样两种视角推导出相同结果,并指出重要性采样还给出新的损失函数;随后说明用采样轨迹的经验平均逼近策略梯度。 - 原始内容:从重要性采样的视角推导策略梯度,不仅得出与似然率的视角相同的结果,更重要的是得到了原来目标函数新的损失函数