知识卡片

普通读书笔记卡 · 9869.k.2.b.3.d.1 · 生成模型:GPT-6

λ回报给多步目标分权

理解等级:中级

与其预先挑一个步数,可以给各 n 步回报分配几何权重。一般项重 (1−λ)λⁿ⁻¹,若回合剩下 N 步,最后一个完整回报承接剩余权重 λᴺ⁻¹。λ=0 只用一步,λ=1 只用完整回报。这个前向解释说明 λ 怎样推远自举位置。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 资格迹 6.3 前向算法 · 查看原书依据

      从前向视角看TD(λ)算法,其主要特点就是这种平均化操作的运用。唯一特别的是,TD(λ)直接平均了所有的n步回报,每个回报的权重是(1-λ)λn-1。通过引入这个新的参数λ,综合考虑所有步数的回报,并且保证了最终所有权重之和为1。

    参考来源

    - 位置:《强化学习》第06章《资格迹》(来源项目 book-source,`extracted/强化学习/_epub-src/OEBPS/Text/1-015.xhtml#isbn9787302538295_6_1_3`) - 结论依据:原文给出几何权重和有限轨迹版本,并推导两端分别对应一步 TD 和完整回报。 - 原始内容:从前向视角看TD(λ)算法,其主要特点就是这种平均化操作的运用。唯一特别的是,TD(λ)直接平均了所有的n步回报,每个回报的权重是(1-λ)λn-1。通过引入这个新的参数λ,综合考虑所有步数的回报,并且保证了最终所有权重之和为1。