← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9874.b · 生成模型:Hunyuan

似然比与轨迹似然率

理解等级:高级

设一条轨迹 τ=(s₀,a₀,s₁,a₁,…),其概率 P(τ;θ)=p(s₀)∏π(aₜ|sₜ;θ)p(sₜ₊₁|sₜ,aₜ)。取对数得 log P(τ;θ)=log p(s₀)+Σ[log π(aₜ|sₜ;θ)+log p(sₜ₊₁|sₜ,aₜ)]。对 θ 求导时,环境动力学 p(sₜ₊₁|sₜ,aₜ) 与 θ 无关、导数为 0,于是 ∇log P(τ;θ)=Σ∇log π(aₜ|sₜ;θ)——这就是似然比技巧:把对轨迹概率的梯度化成对策略对数概率的梯度,且与环境动力学无关。直觉上,∇log π 指向“让该动作在该状态下更可能出现”的参数变化方向。小演算:若某动作在 softmax 中概率为 0.2,把它提高到 0.3,log 概率从 −1.61 升到 −1.20,说明沿该方向更新会增大其似然。正因动力学项消失,算法无需环境转移模型即可估计梯度。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深入浅出强化学习:原理入门》第7章 基于策略梯度的强化学习方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00017.html) - 结论依据:原文从似然率视角推导,指出动力学无参数可在求导中消掉,似然率梯度转化为动作策略的梯度、与动力学无关。 - 原始内容:从公式(7.7)的结果来看,似然率梯度转化为动作策略的梯度,与动力学无关,那么如何求解策略的梯度呢? 我们看一下常见的策略表示方法。