知识卡片
探索必要性与探索性初始化
经验平均要收敛到正确的值函数,前提是每个状态(状态行为对)都被充分访问;动态规划靠逐个扫描状态空间保证这一点,无模型没有模型可用,就必须在采样时主动保证覆盖。探索性初始化是一种办法:让每一幕的初始状态随机分配,使每个状态行为对都有机会作为起点。但它隐含「所有动作都被无限频繁选中」的强假设,现实中往往难以保证。更实用的思路是精心设计探索策略,使其温和(soft)——任意状态下每个动作的概率都大于零,典型如 ε-greedy。由此可知,如何获得充足经验是无模型强化学习的核心,探索不是附带技巧而是收敛的前提。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第4章 基于蒙特卡罗的强化学习方法 · 查看原书依据
无模型的方法充分评估策略值函数的前提是每个状态都能被访问到,因此,在蒙特卡洛方法中必须采用一定的方法保证每个状态都能被访问到,方法之一是探索性初始化。
参考来源
- 位置:《深入浅出强化学习:原理入门》第4章 基于蒙特卡罗的强化学习方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00013.html)
- 结论依据:原文指出无模型方法充分评估值函数的前提是每个状态都能被访问到,由此提出探索性初始化,并进一步讨论其隐含假设与温和探索策略的要求。
- 原始内容:无模型的方法充分评估策略值函数的前提是每个状态都能被访问到,因此,在蒙特卡洛方法中必须采用一定的方法保证每个状态都能被访问到,方法之一是探索性初始化。