知识卡片
异策略Actor-Critic框架
确定性策略本身不探索:给定初始状态,它产生的轨迹永远固定,智能体无从尝试其他动作、也就无法学习。破解办法是异策略(off-policy)学习——行动策略与评估策略不是同一个。这里行动策略取随机策略以保证充分探索,评估策略取确定性策略,二者构成 Actor-Critic 架构。AC 含两个对等组件:Actor 即行动策略,负责调整策略参数 θ;Critic 负责逼近值函数 Q(s,a;w),用 TD 学习评估。随机策略 AC 中 Actor 调整对数概率项的参数、Critic 逼近状态值函数;确定性策略 AC 把策略换成 μ(s;θ),Critic 仍用 TD 评估动作值函数。可迁移启发:当目标策略不便于探索时,用另一个探索性策略采集数据、再以异策略方法评估和改进目标策略,是通用套路。边界在于两策略不一致会带来分布偏差,随机情形需重要性采样校正,确定性策略则凭动作确定性省去权重。
结构图:
flowchart LR
A[随机行动策略] -->|采样探索| B[环境]
B -->|转移数据| C[经验池]
C -->|批量采样| D[Critic 值函数逼近]
D -->|动作梯度回传| E[Actor 确定性策略]
E -->|更新参数| A
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第9章 基于确定性策略搜索的强化学习方法 · 查看原书依据
答案是利用异策略学习方法(off-policy)。异策略是指行动策略和评估策略不是同一个策略。我们此处所说的行动策略是随机策略,以保证充足的探索;评估策略是确定性策略,即公式(8.2)。整个确定性策略的学习框架采用AC(Actor-Critic Algorithm)的方法。
参考来源
- 位置:《深入浅出强化学习:原理入门》第9章 基于确定性策略搜索的强化学习方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00019.html)
- 结论依据:原文自问「确定性策略无法探索环境,那么它如何学习」,答以异策略学习:行动策略用随机策略保证探索、评估策略用确定性策略,并说明整个框架采用 AC 方法,Actor 调参数、Critic 用 TD 逼近值函数。
- 原始内容:答案是利用异策略学习方法(off-policy)。异策略是指行动策略和评估策略不是同一个策略。我们此处所说的行动策略是随机策略,以保证充足的探索;评估策略是确定性策略,即公式(8.2)。整个确定性策略的学习框架采用AC(Actor-Critic Algorithm)的方法。