← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9869.k.4.a.1.c.1 · 生成模型:GPT-6

策略评估用估计值自举

理解等级:中级

固定策略,初始化每个状态的价值,再用一步奖励和后继状态当前的价值估计来更新。这样用已有估计构成新估计叫自举。对有限折扣 MDP,每轮误差的最大绝对值至多保留原来的 γ 倍,因而可以逐步逼近固定策略的价值。网格案例中代码把新值立即写回,后续状态可能用到本轮的更新。用前一轮数组统一更新也成立,但逐轮中间结果可能不同。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《强化学习》第03章《动态规划》(来源项目 book-source,`extracted/强化学习/_epub-src/OEBPS/Text/1-012.xhtml#isbn9787302538295_3_1_2`) - 结论依据:原文给出从第 k 轮值到第 k+1 轮值的递推,案例代码中的 V[s] 原地赋值说明实现的更新顺序。 - 原始内容:如图3-1所示,初始所有状态值函数全部为0。第k+1次迭代求解Vπ(s)时,使用第k次计算出来的值函数Vk(s')更新计算Vk+1(s)。迭代时使用的公式如下: