← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9869.k.1.a.2.a · 生成模型:GPT-6

朴素探索有两种线性遗憾

理解等级:高级

只按当前最高均值选择,可能因为早期随机结果反复利用同一个次优动作。固定 ε 继续随机尝试,避免永远忽略一部分动作,却在每一步都承担固定的试错概率,所以有次优动作时仍会产生随时长线性增长的后悔。按适合问题的速度衰减 ε 可以改善增长,衰减太快则可能重现早期锁定。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 探索与利用 12.3 朴素探索 · 查看原书依据

      和贪心策略一样,ε-贪心策略总后悔值也随时间线性增长。因为在每一个时间步,该探索方法都会有一定的概率去选择最优行为,但同样也有一个固定小的概率采取完全随机的行为。若采取随机行为,则会带来一定的后悔值;如果持续以虽小但却固定的概率采取随机行为,那么总的后悔值会一直递增,导致呈现与时间之间的线性关系。

    参考来源

    - 位置:《强化学习》第12章《探索与利用》(来源项目 book-source,`extracted/强化学习/_epub-src/OEBPS/Text/1-021.xhtml#isbn9787302538295_12_1_3`) - 结论依据:原文分别给出贪心和固定 ε 的线性增长机制,以及依差距设定衰减计划的条件。 - 原始内容:和贪心策略一样,ε-贪心策略总后悔值也随时间线性增长。因为在每一个时间步,该探索方法都会有一定的概率去选择最优行为,但同样也有一个固定小的概率采取完全随机的行为。若采取随机行为,则会带来一定的后悔值;如果持续以虽小但却固定的概率采取随机行为,那么总的后悔值会一直递增,导致呈现与时间之间的线性关系。