← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9875.g · 生成模型:Hunyuan

重要性采样与替代回报

理解等级:中级

第二个技巧解决“用旧策略样本估计新策略动作期望”的问题:引入重要性采样比 r_t(θ)=π_θ(a_t|st)/π{θ_old}(a_t|st),把替代回报(surrogate objective)写成 L(θ)=E{s~ρ_old}[Σ_a π_θ(a|s) A_old(s,a)],再用旧策略样本表示为 E[r_t(θ) A_old(s,a)]。这样无需从未知的新策略采样,就能用现有轨迹评估候选更新。替代回报 L 与原回报 η 在旧策略处一阶相同——两者唯一差别只是状态分布不同,而第一个技巧已把它固定——所以在旧策略附近能改善 L 的策略也能改善真实回报。这正是策略梯度与TRPO的分水岭:前者盲目信任梯度方向并配固定步长,后者用重要性加权的替代目标加KL约束来控制每一步的风险。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深入浅出强化学习:原理入门》第8章 基于置信域策略优化的强化学习方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00018.html) - 结论依据:正文说明第二个技巧利用重要性采样处理动作分布,并指出替代回报函数与原回报函数的唯一区别是状态分布不同、在旧策略处一阶近似,附近能改善替代目标的策略也能改善原回报。 - 原始内容:我们看(8.5)式的第二项策略部分,这时的动作a是由新的策略 产生的,可是新的策略 是带参数 的,而该参数是未知的,因此无法用来产生动作。这时,我们引入TRPO的第二个技巧。