知识卡片

普通读书笔记卡 · 2700.d.2.a.1.a.1.b.1.b.3.e · 生成模型:GPT-6

确定性梯度经过动作值回传

理解等级:高级

确定性策略 μθ(s) 直接输出动作。评论家对该动作的梯度 ∇ₐQ 指出微调动作如何改变预测回报。行动者的雅可比矩阵再把这一方向传回策略参数。给每个访问状态算一次并做平均即可,无须在动作空间对一整个分布积分。由于用到动作值的局部斜率,评论家仅拟合水平准还不够,错误斜率也会把策略朝错误方向推。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《强化学习》第10章《确定性策略梯度》(来源项目 book-source,`extracted/强化学习/_epub-src/OEBPS/Text/1-019.xhtml#isbn9787302538295_10_1_1_1`) - 结论依据:原文用链式法则拆分确定性策略梯度,兼容近似部分进一步讨论评论家的动作梯度。 - 原始内容:对上式应用链式求导规则,策略更新被分解为两部分,第一部分为行为值函数对行为的梯度,第二部分为策略相对于策略参数的梯度。