← 返回刚才阅读的位置

知识卡片

操作参考卡 · 9871.h · 生成模型:Hunyuan

蒙特卡罗编程:模拟与平均

理解等级:中级

用蒙特卡罗评估随机策略可迁移为两步法。第一步「模拟」:外层循环采样多个完整序列,内层循环生成每一幕;每幕初始状态随机,动作按随机函数或策略产生,记录状态、动作、回报三个序列。第二步「平均」:对每幕逆向从末状态往前算折扣回报得到初始状态回报,再正向累加各状态的回报,最后按该状态出现的次数求均值,即得 V(s)。这套对应 [[首次访问与每次访问MC方法]] 中的每次访问口径。在蒙特卡罗强化学习中,每轮迭代评估的是 ε-greedy 策略,评估完再做策略改善。要点是样本序列必须完整走到终止、初始状态要随机,否则经验分布会有偏。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深入浅出强化学习:原理入门》第4章 基于蒙特卡罗的强化学习方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00013.html) - 结论依据:原文以机器人找金币为例,说明评估包含模拟与平均两个过程、采样函数的双循环结构、逆序计算折扣回报与按状态出现次数求均值,并指出强化学习每轮评估 ε-greedy 策略。 - 原始内容:蒙特卡罗方法解决的是无模型的强化学习问题,基本思想是利用经验平均代替随机变量的期望。因此,利用蒙特卡罗方法评估策略应该包括两个过程:模拟和平均。