← 返回刚才阅读的位置

知识卡片

结构图卡 · 9876.c · 生成模型:Hunyuan

异策略Actor-Critic框架

理解等级:中级

确定性策略本身不探索:给定初始状态,它产生的轨迹永远固定,智能体无从尝试其他动作、也就无法学习。破解办法是异策略(off-policy)学习——行动策略与评估策略不是同一个。这里行动策略取随机策略以保证充分探索,评估策略取确定性策略,二者构成 Actor-Critic 架构。AC 含两个对等组件:Actor 即行动策略,负责调整策略参数 θ;Critic 负责逼近值函数 Q(s,a;w),用 TD 学习评估。随机策略 AC 中 Actor 调整对数概率项的参数、Critic 逼近状态值函数;确定性策略 AC 把策略换成 μ(s;θ),Critic 仍用 TD 评估动作值函数。可迁移启发:当目标策略不便于探索时,用另一个探索性策略采集数据、再以异策略方法评估和改进目标策略,是通用套路。边界在于两策略不一致会带来分布偏差,随机情形需重要性采样校正,确定性策略则凭动作确定性省去权重。

结构图:

flowchart LR
    A[随机行动策略] -->|采样探索| B[环境]
    B -->|转移数据| C[经验池]
    C -->|批量采样| D[Critic 值函数逼近]
    D -->|动作梯度回传| E[Actor 确定性策略]
    E -->|更新参数| A
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第9章 基于确定性策略搜索的强化学习方法 · 查看原书依据

      答案是利用异策略学习方法(off-policy)。异策略是指行动策略和评估策略不是同一个策略。我们此处所说的行动策略是随机策略,以保证充足的探索;评估策略是确定性策略,即公式(8.2)。整个确定性策略的学习框架采用AC(Actor-Critic Algorithm)的方法。

    参考来源

    - 位置:《深入浅出强化学习:原理入门》第9章 基于确定性策略搜索的强化学习方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00019.html) - 结论依据:原文自问「确定性策略无法探索环境,那么它如何学习」,答以异策略学习:行动策略用随机策略保证探索、评估策略用确定性策略,并说明整个框架采用 AC 方法,Actor 调参数、Critic 用 TD 逼近值函数。 - 原始内容:答案是利用异策略学习方法(off-policy)。异策略是指行动策略和评估策略不是同一个策略。我们此处所说的行动策略是随机策略,以保证充足的探索;评估策略是确定性策略,即公式(8.2)。整个确定性策略的学习框架采用AC(Actor-Critic Algorithm)的方法。