← 返回卡片

原书出处

强化学习

06 资格迹 *6.7.3 Peng's Q(λ)方法

第1版 · 核验版本的摘录快照 · 导入于 2026-11-20T14:51:48.894Z

Peng's Q(λ)算法可以看作既有在线策略部分又有离线策略部分的混合型Q(λ)算法。从Peng's Q(λ)算法的前向视角可以看到,在每个备份(backup)过程中(除了最长的完整轨迹),前面的状态转移过程属于实际经验,都是依据某个随机的探索策略采样得到;最后一个行为的选择,则是依据贪婪行为,即根据来选择最优行为。这么看的话,每个备份过程都是既有在线策略成分(前面部分Q的更新基于当前的策略),又有离线策略成分(最终的行为选择基于贪心策略)。

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/强化学习/_epub-src/OEBPS/Text/1-015.xhtml

EPUB SHA-256:09d029c3e00ed3f65d67041527ebdeec43f6860c9e329632f76265063e65d5ae