知识卡片
蒙特卡罗编程:模拟与平均
用蒙特卡罗评估随机策略可迁移为两步法。第一步「模拟」:外层循环采样多个完整序列,内层循环生成每一幕;每幕初始状态随机,动作按随机函数或策略产生,记录状态、动作、回报三个序列。第二步「平均」:对每幕逆向从末状态往前算折扣回报得到初始状态回报,再正向累加各状态的回报,最后按该状态出现的次数求均值,即得 V(s)。这套对应 [[首次访问与每次访问MC方法]] 中的每次访问口径。在蒙特卡罗强化学习中,每轮迭代评估的是 ε-greedy 策略,评估完再做策略改善。要点是样本序列必须完整走到终止、初始状态要随机,否则经验分布会有偏。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第4章 基于蒙特卡罗的强化学习方法 · 查看原书依据
蒙特卡罗方法解决的是无模型的强化学习问题,基本思想是利用经验平均代替随机变量的期望。因此,利用蒙特卡罗方法评估策略应该包括两个过程:模拟和平均。
参考来源
- 位置:《深入浅出强化学习:原理入门》第4章 基于蒙特卡罗的强化学习方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00013.html)
- 结论依据:原文以机器人找金币为例,说明评估包含模拟与平均两个过程、采样函数的双循环结构、逆序计算折扣回报与按状态出现次数求均值,并指出强化学习每轮评估 ε-greedy 策略。
- 原始内容:蒙特卡罗方法解决的是无模型的强化学习问题,基本思想是利用经验平均代替随机变量的期望。因此,利用蒙特卡罗方法评估策略应该包括两个过程:模拟和平均。