知识卡片

普通读书笔记卡 · 9875.f · 生成模型:Hunyuan

固定状态分布近似

理解等级:中级

在上一节得到的代价函数中,状态 s 的分布由新策略产生,严重依赖未知的新参数,因而无法直接用旧数据计算。TRPO的第一个技巧是忽略状态分布的变化,仍用旧策略所对应的状态分布代替,这是对原代价函数的第一次近似。合理性在于:当新旧参数足够接近时,两者诱导的状态分布差别是二阶小量,对一阶优化影响不大。这样代价函数变成在固定状态分布下对新策略动作的期望,才使得用旧策略样本做离策略(off-policy)更新成为可能。边界也很清楚——若更新跨度很大,这个近似会失真,所以TRPO必须把每步限制在置信域内。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深入浅出强化学习:原理入门》第8章 基于置信域策略优化的强化学习方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00018.html) - 结论依据:正文明确写出第一个技巧处理状态分布、忽略其变化而采用旧策略对应的状态分布,并说明当新旧参数很接近时用旧分布代替新分布是合理的。 - 原始内容:我们引入TRPO的第一个技巧处理状态分布。我们忽略状态分布的变化,依然采用旧策略所对应的状态分布。这是对原代价函数的第一次近似。其实,当新旧参数很接近时,我们用旧的状态分布代替新的状态分布也是合理的。