知识卡片

普通读书笔记卡 · 9869.d · 生成模型:Hunyuan

策略与累积回报

理解等级:中级

策略 π 是状态到动作的映射:给定状态 s,它给出动作集上的一个条件概率分布 π(a|s),即在该状态选择每个动作的概率。强化学习常用随机策略,好处是把探索(尝试其他动作以找到更好策略)自然耦合进采样过程;若 π 是确定性的,则每个状态只指定一个确定动作。例如 π1(玩|s1)=0.8 表示该学生在 s1 时有 0.8 概率玩、0.2 不玩,比 π2(玩|s1)=0.3 的学生更爱玩。沿策略采样得到的状态序列对应一条回报流,累积回报 Gt = r{t+1} + γ r{t+2} + γ² r{t+3} + … 是从 t 时刻起折扣后的回报总和;小演算:r=(1,2,3)、γ=0.5 时 G_0=1+0.5×2+0.25×3=2.75。由于 π 随机、转移也随机,G 是随机变量;强化学习的目标就是找到使 G 期望最大的最优策略。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第2章 马尔科夫决策过程 · 查看原书依据

      所谓策略是指状态到动作的映射,策略常用符号π表示,它是指给定状态s时,动作集上的一个分布,即 这个公式是什么意思呢?策略的定义是用条件概率分布给出的。

    参考来源

    - 位置:《深入浅出强化学习:原理入门》第2章 马尔科夫决策过程(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00010.html) - 结论依据:原文给出策略的条件概率定义与 π1/π2 例子,并说明策略随机时累积回报也随机、最优指总回报最大。 - 原始内容:所谓策略是指状态到动作的映射,策略常用符号π表示,它是指给定状态s时,动作集上的一个分布,即 这个公式是什么意思呢?策略的定义是用条件概率分布给出的。