知识卡片

普通读书笔记卡 · 9869.k.2.b.3.c.1 · 生成模型:GPT-6

Watkins迹遇非贪心动作截断

理解等级:高级

Watkins Q(λ) 希望估计贪心目标策略,但采样时允许探索。一步目标仍取后继状态的最大 Q。若实际接下来的动作不是任何贪心候选,在它产生的奖励进入更新前清掉历史迹,避免把该非贪心动作的后果算到前面。当前新转移仍能用于学习。探索频繁时,有效的多步长度可能很短。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《强化学习》第06章《资格迹》(来源项目 book-source,`extracted/强化学习/_epub-src/OEBPS/Text/1-015.xhtml#isbn9787302538295_6_1_6_4`) - 结论依据:原文分别从前向长度与后向清零说明同一截断,并以风格子比较经验利用。 - 原始内容:对于所有状态行为对(s,a)的资格迹,更新分两部分:首先,如果当前选择行为at是贪婪行为,资格迹乘以系数γλ,否则资格迹变成0;其次,对于当前正在访问的(st,at),其资格迹单独加1。