知识卡片

普通读书笔记卡 · 2700.d.2.a.2.a · 生成模型:未记录

同一个回推可用于评估或优化

理解等级:中级

先以奖励加折扣后的后继期望算动作回推。固定策略下按 π 加权,用于跟踪指定规则的表现。最优回推按合法动作取最大。程序若把未定义的动作也当成奖励零的有效动作,在真实动作价值均为负时会污染最大值,因此应显式使用可行动作集合。

关联:[[只对可选动作取最大]]。实验把同一步动作回推接到两种动作聚合规则。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《强化学习入门:从原理到实践》第2章《2.4.2 验证贝尔曼方程》,来源项目 book-source,`extracted/强化学习入门:从原理到实践/_epub-src/OEBPS/Text/chapter15.xhtml`,body 子元素 39 - 结论依据:原文使用同一函数从后继状态价值计算动作值,再改变动作聚合方法。 - 原始内容:之前的方法compute_q就可以完成这个功能