知识卡片

普通读书笔记卡 · 9872.c · 生成模型:Hunyuan

Sarsa同策略算法

理解等级:中级

Sarsa是同策略的TD算法:行动策略和评估策略是同一个,原文中两者都采用ε-greedy策略。它更新的是状态-动作值Q(s,a),目标用下一步真正选出的动作a’的Q(s’,a’),即Q(s,a) ← Q(s,a)+α[r+γQ(s’,a’)−Q(s,a)]。因为a’来自正在执行的ε-greedy策略,探索带来的风险也被算进价值评估,学到的策略相对保守,会倾向避开靠近悬崖等容易被探索扰动影响的路径。它与蒙特卡罗的关键不同在于值函数更新方式:Sarsa每走一步就用TD偏差刷新,不必等一幕结束才统计整幕回报。这使它能在交互过程中在线学习。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深入浅出强化学习:原理入门》第5章 基于时间差分的强化学习方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00014.html) - 结论依据:原文指出Sarsa为同策略算法,其行动与评估策略都是ε-greedy策略,并说明它与蒙特卡罗的不同在于值函数更新方式。 - 原始内容:如图5.6所示为同策略Sarsa强化学习算法,需要注意的是方框中代码表示同策略中的行动策略和评估的策略都是ε-greedy策略。与蒙特卡罗方法不同的是,它的值函数更新不同。