← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9871.a · 生成模型:Hunyuan

蒙特卡罗策略评估

理解等级:中级

蒙特卡罗策略评估用经验平均估计策略的值函数。因为状态值函数本质是折扣回报的期望 E[G_t | S_t=s],无模型时无法解析求出,就让当前策略跑很多幕(episode),记录每幕中状态 s 处的回报 G_t,取这些回报的样本均值作为 V(s) 的近似。为便于在线迭代,均值可递增更新:每见一次回报 G_t,就令 V(s) ← V(s) + α(G_t − V(s))。评估完成后,对每个状态最大化动作值函数即可完成策略改善。它与动态规划只有值函数估计手段不同,整体评估—改善框架一致,是 [[无模型与有模型强化学习]] 思想的具体落地。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深入浅出强化学习:原理入门》第4章 基于蒙特卡罗的强化学习方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00013.html) - 结论依据:原文明确说明状态与行为值函数的计算就是计算返回值期望,动态规划利用模型算该期望,而没有模型时可用蒙特卡罗方法即随机样本估计该期望。 - 原始内容:状态值函数和行为值函数的计算实际上是计算返回值的期望(参见图4.2),动态规划的方法是利用模型计算该期望。在没有模型时,我们可以采用蒙特卡罗的方法计算该期望,即利用随机样本估计期望。