知识卡片
λ回报给多步目标分权
与其预先挑一个步数,可以给各 n 步回报分配几何权重。一般项重 (1−λ)λⁿ⁻¹,若回合剩下 N 步,最后一个完整回报承接剩余权重 λᴺ⁻¹。λ=0 只用一步,λ=1 只用完整回报。这个前向解释说明 λ 怎样推远自举位置。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第6章 资格迹
原书出处 · 1 处
- 资格迹 6.3 前向算法 · 查看原书依据
从前向视角看TD(λ)算法,其主要特点就是这种平均化操作的运用。唯一特别的是,TD(λ)直接平均了所有的n步回报,每个回报的权重是(1-λ)λn-1。通过引入这个新的参数λ,综合考虑所有步数的回报,并且保证了最终所有权重之和为1。
参考来源
- 位置:《强化学习》第06章《资格迹》(来源项目 book-source,`extracted/强化学习/_epub-src/OEBPS/Text/1-015.xhtml#isbn9787302538295_6_1_3`)
- 结论依据:原文给出几何权重和有限轨迹版本,并推导两端分别对应一步 TD 和完整回报。
- 原始内容:从前向视角看TD(λ)算法,其主要特点就是这种平均化操作的运用。唯一特别的是,TD(λ)直接平均了所有的n步回报,每个回报的权重是(1-λ)λn-1。通过引入这个新的参数λ,综合考虑所有步数的回报,并且保证了最终所有权重之和为1。