← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9869.k.2.b.3.b · 生成模型:GPT-6

Sarsa用实际下一动作更新

理解等级:中级

Sarsa 在当前状态 S 选 A,得到奖励 R,抵达 S′ 后依照同一个策略选 A′。更新 Q(S,A) 时以 R+γQ(S′,A′) 为目标,并将 A′ 带入下一步。若行为中保留随机探索,估计的价值会计入后面仍可能继续探索的影响。终止时目标只有 R。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 时序差分 5.3 Sarsa:在线策略TD · 查看原书依据

      Sarsa的名称来源如图5-4所示,序列描述:基于状态S,遵循当前策略,选择一个行为A,形成第一个状态行为对(S,A)。与环境交互,得到回报R,进入下一个状态S',再次遵循当前策略,产生一个行为A',产生第二个状态行为对(S',A')。利用后一个状态行为对(S',A')的行为值函数Q(S',A')值更新前一个状态行为对(S,A)的Q(S,A)值。

    参考来源

    - 位置:《强化学习》第05章《时序差分》(来源项目 book-source,`extracted/强化学习/_epub-src/OEBPS/Text/1-014.xhtml#isbn9787302538295_5_1_3`) - 结论依据:原文按 S、A、R、S′、A′ 的次序解释名称,并给出同策略更新。 - 原始内容:Sarsa的名称来源如图5-4所示,序列描述:基于状态S,遵循当前策略,选择一个行为A,形成第一个状态行为对(S,A)。与环境交互,得到回报R,进入下一个状态S',再次遵循当前策略,产生一个行为A',产生第二个状态行为对(S',A')。利用后一个状态行为对(S',A')的行为值函数Q(S',A')值更新前一个状态行为对(S,A)的Q(S,A)值。