知识卡片
同一个回推可用于评估或优化
先以奖励加折扣后的后继期望算动作回推。固定策略下按 π 加权,用于跟踪指定规则的表现。最优回推按合法动作取最大。程序若把未定义的动作也当成奖励零的有效动作,在真实动作价值均为负时会污染最大值,因此应显式使用可行动作集合。
关联:[[只对可选动作取最大]]。实验把同一步动作回推接到两种动作聚合规则。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 2.4.2 验证贝尔曼方程 · 查看原书依据
之前的方法compute_q就可以完成这个功能
参考来源
- 位置:《强化学习入门:从原理到实践》第2章《2.4.2 验证贝尔曼方程》,来源项目 book-source,`extracted/强化学习入门:从原理到实践/_epub-src/OEBPS/Text/chapter15.xhtml`,body 子元素 39
- 结论依据:原文使用同一函数从后继状态价值计算动作值,再改变动作聚合方法。
- 原始内容:之前的方法compute_q就可以完成这个功能