知识卡片
似然比与轨迹似然率
设一条轨迹 τ=(s₀,a₀,s₁,a₁,…),其概率 P(τ;θ)=p(s₀)∏π(aₜ|sₜ;θ)p(sₜ₊₁|sₜ,aₜ)。取对数得 log P(τ;θ)=log p(s₀)+Σ[log π(aₜ|sₜ;θ)+log p(sₜ₊₁|sₜ,aₜ)]。对 θ 求导时,环境动力学 p(sₜ₊₁|sₜ,aₜ) 与 θ 无关、导数为 0,于是 ∇log P(τ;θ)=Σ∇log π(aₜ|sₜ;θ)——这就是似然比技巧:把对轨迹概率的梯度化成对策略对数概率的梯度,且与环境动力学无关。直觉上,∇log π 指向“让该动作在该状态下更可能出现”的参数变化方向。小演算:若某动作在 softmax 中概率为 0.2,把它提高到 0.3,log 概率从 −1.61 升到 −1.20,说明沿该方向更新会增大其似然。正因动力学项消失,算法无需环境转移模型即可估计梯度。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第7章 基于策略梯度的强化学习方法 · 查看原书依据
从公式(7.7)的结果来看,似然率梯度转化为动作策略的梯度,与动力学无关,那么如何求解策略的梯度呢? 我们看一下常见的策略表示方法。
参考来源
- 位置:《深入浅出强化学习:原理入门》第7章 基于策略梯度的强化学习方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00017.html)
- 结论依据:原文从似然率视角推导,指出动力学无参数可在求导中消掉,似然率梯度转化为动作策略的梯度、与动力学无关。
- 原始内容:从公式(7.7)的结果来看,似然率梯度转化为动作策略的梯度,与动力学无关,那么如何求解策略的梯度呢? 我们看一下常见的策略表示方法。