返回主题:强化学习与多智能体

知识卡片

普通读书笔记卡 · 2796.c

Sarsa在策略更新

理解等级:未标注

Q-learning 是 off-policy 算法,更新时用下一状态中回报最大的动作的 Q 值;Sarsa 是 on-policy 算法,去掉取最大值这一步,用下一状态实际选择的动作来计算 Q 值。Sarsa(λ) 进一步在获得奖励时回溯更新前 λ 步:λ=0 就是单步更新的 Sarsa,λ=1 则更新整个回合中奖励之前的所有步。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《分布式人工智能:基于TensorFlow、RTOS与群体智能体系》第7章《生成网络和强化学习》(源文件:_epub-src/OEBPS/Text/chapter7-6-1.xhtml) - 结论依据:原文说明Q-learning为off-policy算法,Sarsa为on-policy算法;到达s′后,Q-learning观察s′下最大回报的动作更新,Sarsa去掉maxQ、按实际选取的动作计算Q值;Sarsa-lambda每次获得reward更新前λ步,λ=0为单步更新,λ=1为回合更新。 - 原始内容:Sarsa算法和Q-learning的算法区别在于,Q-learning算法为off-policy离线学习算法,Sarsa算法为on-policy算法。……Sarsa算法中,Q(s, a)函数会先去掉maxQ,然后根据状态下选取的动作计算Q值。