知识卡片
ε贪心保留行动机会
有 m 个动作时,以 ε 的概率在所有动作中均匀抽样,以 1−ε 的概率选择当前最佳动作。指定一个最佳动作时,它的概率为 1−ε+ε/m,其余每个为 ε/m。它给已访问状态的候选动作保留试验机会;能否访问某个状态还取决于起点和转移。固定 ε 时改进是相对于同探索约束的 ε-软策略而言。若要趋向完全贪心最优策略,还需要探索逐步消退且各相关状态动作仍有充分访问等条件。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第4章 蒙特卡罗
原书出处 · 1 处
- 蒙特卡罗 4.3 蒙特卡罗控制 · 查看原书依据
为了解决这一问题,需要引入一个随机机制,使得某一状态下所有可能的行为都有一定非零概率被选中执行,以保证持续的探索,代表性的方法是ε-贪心探索(也称ε-贪心法)。以ε的概率从所有动作中均匀随机选取一个,以1-ε的概率选取当前最优动作。假设m为动作数,在ε-贪心策略中,当前最优动作被选中的概率是,而每个非最优动作被选中的概率是,数学表达式如下:
参考来源
- 位置:《强化学习》第04章《蒙特卡罗》(来源项目 book-source,`extracted/强化学习/_epub-src/OEBPS/Text/1-013.xhtml#isbn9787302538295_4_1_3`)
- 结论依据:原文用未知宝盒说明纯贪心可能被初始观测锁住,并给出均匀探索与贪心分支混合的概率。
- 原始内容:为了解决这一问题,需要引入一个随机机制,使得某一状态下所有可能的行为都有一定非零概率被选中执行,以保证持续的探索,代表性的方法是ε-贪心探索(也称ε-贪心法)。以ε的概率从所有动作中均匀随机选取一个,以1-ε的概率选取当前最优动作。假设m为动作数,在ε-贪心策略中,当前最优动作被选中的概率是,而每个非最优动作被选中的概率是,数学表达式如下: