← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9869.k.1.a.1 · 生成模型:GPT-6

ε贪心保留行动机会

理解等级:高级

有 m 个动作时,以 ε 的概率在所有动作中均匀抽样,以 1−ε 的概率选择当前最佳动作。指定一个最佳动作时,它的概率为 1−ε+ε/m,其余每个为 ε/m。它给已访问状态的候选动作保留试验机会;能否访问某个状态还取决于起点和转移。固定 ε 时改进是相对于同探索约束的 ε-软策略而言。若要趋向完全贪心最优策略,还需要探索逐步消退且各相关状态动作仍有充分访问等条件。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 蒙特卡罗 4.3 蒙特卡罗控制 · 查看原书依据

      为了解决这一问题,需要引入一个随机机制,使得某一状态下所有可能的行为都有一定非零概率被选中执行,以保证持续的探索,代表性的方法是ε-贪心探索(也称ε-贪心法)。以ε的概率从所有动作中均匀随机选取一个,以1-ε的概率选取当前最优动作。假设m为动作数,在ε-贪心策略中,当前最优动作被选中的概率是,而每个非最优动作被选中的概率是,数学表达式如下:

    参考来源

    - 位置:《强化学习》第04章《蒙特卡罗》(来源项目 book-source,`extracted/强化学习/_epub-src/OEBPS/Text/1-013.xhtml#isbn9787302538295_4_1_3`) - 结论依据:原文用未知宝盒说明纯贪心可能被初始观测锁住,并给出均匀探索与贪心分支混合的概率。 - 原始内容:为了解决这一问题,需要引入一个随机机制,使得某一状态下所有可能的行为都有一定非零概率被选中执行,以保证持续的探索,代表性的方法是ε-贪心探索(也称ε-贪心法)。以ε的概率从所有动作中均匀随机选取一个,以1-ε的概率选取当前最优动作。假设m为动作数,在ε-贪心策略中,当前最优动作被选中的概率是,而每个非最优动作被选中的概率是,数学表达式如下: