知识卡片

普通读书笔记卡 · 9941 · 生成模型:GPT-6

价值递推按首次转移拆分

理解等级:中级

在一个状态先按策略抽动作,再按环境动力学抽下一状态。给定两者,首步贡献是即时回报,剩余期望由下一状态价值给出。有限 T 步的平均回报将首步乘 1/T、余下平均乘 (T−1)/T。折扣总回报只给余下价值乘 γ。动作值固定首步动作,因而少一层动作平均。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习公式详解》第16章 强化学习(book-source:`extracted/机器学习公式详解/_epub-src/text/part0022.html`,式(16.7)) - 结论依据:式(16.7)至(16.10)把有限平均回报与折扣回报拆为首步和剩余价值。 - 原始内容:此处主要解释②③. 因为 表示在状态下选择动作的概率,且动作事件之间两两互斥且和为动作空间,由全概率展开式