知识卡片
策略评估用估计值自举
固定策略,初始化每个状态的价值,再用一步奖励和后继状态当前的价值估计来更新。这样用已有估计构成新估计叫自举。对有限折扣 MDP,每轮误差的最大绝对值至多保留原来的 γ 倍,因而可以逐步逼近固定策略的价值。网格案例中代码把新值立即写回,后续状态可能用到本轮的更新。用前一轮数组统一更新也成立,但逐轮中间结果可能不同。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第3章 动态规划
原书出处 · 1 处
- 动态规划 3.2 策略评估 · 查看原书依据
如图3-1所示,初始所有状态值函数全部为0。第k+1次迭代求解Vπ(s)时,使用第k次计算出来的值函数Vk(s')更新计算Vk+1(s)。迭代时使用的公式如下:
参考来源
- 位置:《强化学习》第03章《动态规划》(来源项目 book-source,`extracted/强化学习/_epub-src/OEBPS/Text/1-012.xhtml#isbn9787302538295_3_1_2`)
- 结论依据:原文给出从第 k 轮值到第 k+1 轮值的递推,案例代码中的 V[s] 原地赋值说明实现的更新顺序。
- 原始内容:如图3-1所示,初始所有状态值函数全部为0。第k+1次迭代求解Vπ(s)时,使用第k次计算出来的值函数Vk(s')更新计算Vk+1(s)。迭代时使用的公式如下: