知识卡片
固定状态分布近似
在上一节得到的代价函数中,状态 s 的分布由新策略产生,严重依赖未知的新参数,因而无法直接用旧数据计算。TRPO的第一个技巧是忽略状态分布的变化,仍用旧策略所对应的状态分布代替,这是对原代价函数的第一次近似。合理性在于:当新旧参数足够接近时,两者诱导的状态分布差别是二阶小量,对一阶优化影响不大。这样代价函数变成在固定状态分布下对新策略动作的期望,才使得用旧策略样本做离策略(off-policy)更新成为可能。边界也很清楚——若更新跨度很大,这个近似会失真,所以TRPO必须把每步限制在置信域内。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第8章 基于置信域策略优化的强化学习方法 · 查看原书依据
我们引入TRPO的第一个技巧处理状态分布。我们忽略状态分布的变化,依然采用旧策略所对应的状态分布。这是对原代价函数的第一次近似。其实,当新旧参数很接近时,我们用旧的状态分布代替新的状态分布也是合理的。
参考来源
- 位置:《深入浅出强化学习:原理入门》第8章 基于置信域策略优化的强化学习方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00018.html)
- 结论依据:正文明确写出第一个技巧处理状态分布、忽略其变化而采用旧策略对应的状态分布,并说明当新旧参数很接近时用旧分布代替新分布是合理的。
- 原始内容:我们引入TRPO的第一个技巧处理状态分布。我们忽略状态分布的变化,依然采用旧策略所对应的状态分布。这是对原代价函数的第一次近似。其实,当新旧参数很接近时,我们用旧的状态分布代替新的状态分布也是合理的。