知识卡片
Sarsa在策略更新
Q-learning 是 off-policy 算法,更新时用下一状态中回报最大的动作的 Q 值;Sarsa 是 on-policy 算法,去掉取最大值这一步,用下一状态实际选择的动作来计算 Q 值。Sarsa(λ) 进一步在获得奖励时回溯更新前 λ 步:λ=0 就是单步更新的 Sarsa,λ=1 则更新整个回合中奖励之前的所有步。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《分布式人工智能:基于TensorFlow、RTOS与群体智能体系》第7章《生成网络和强化学习》(源文件:_epub-src/OEBPS/Text/chapter7-6-1.xhtml)
- 结论依据:原文说明Q-learning为off-policy算法,Sarsa为on-policy算法;到达s′后,Q-learning观察s′下最大回报的动作更新,Sarsa去掉maxQ、按实际选取的动作计算Q值;Sarsa-lambda每次获得reward更新前λ步,λ=0为单步更新,λ=1为回合更新。
- 原始内容:Sarsa算法和Q-learning的算法区别在于,Q-learning算法为off-policy离线学习算法,Sarsa算法为on-policy算法。……Sarsa算法中,Q(s, a)函数会先去掉maxQ,然后根据状态下选取的动作计算Q值。