知识卡片
重要性采样与替代回报
第二个技巧解决“用旧策略样本估计新策略动作期望”的问题:引入重要性采样比 r_t(θ)=π_θ(a_t|st)/π{θ_old}(a_t|st),把替代回报(surrogate objective)写成 L(θ)=E{s~ρ_old}[Σ_a π_θ(a|s) A_old(s,a)],再用旧策略样本表示为 E[r_t(θ) A_old(s,a)]。这样无需从未知的新策略采样,就能用现有轨迹评估候选更新。替代回报 L 与原回报 η 在旧策略处一阶相同——两者唯一差别只是状态分布不同,而第一个技巧已把它固定——所以在旧策略附近能改善 L 的策略也能改善真实回报。这正是策略梯度与TRPO的分水岭:前者盲目信任梯度方向并配固定步长,后者用重要性加权的替代目标加KL约束来控制每一步的风险。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第8章 基于置信域策略优化的强化学习方法 · 查看原书依据
我们看(8.5)式的第二项策略部分,这时的动作a是由新的策略 产生的,可是新的策略 是带参数 的,而该参数是未知的,因此无法用来产生动作。这时,我们引入TRPO的第二个技巧。
参考来源
- 位置:《深入浅出强化学习:原理入门》第8章 基于置信域策略优化的强化学习方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00018.html)
- 结论依据:正文说明第二个技巧利用重要性采样处理动作分布,并指出替代回报函数与原回报函数的唯一区别是状态分布不同、在旧策略处一阶近似,附近能改善替代目标的策略也能改善原回报。
- 原始内容:我们看(8.5)式的第二项策略部分,这时的动作a是由新的策略 产生的,可是新的策略 是带参数 的,而该参数是未知的,因此无法用来产生动作。这时,我们引入TRPO的第二个技巧。