原书出处
深入浅出强化学习:原理入门
08 第8章 基于置信域策略优化的强化学习方法
策略 产生,对新的策略严重依赖。 TRPO算法在推导过程中运用了四个技巧,我们分别阐述。 (1)TRPO的第一个技巧。
我们引入TRPO的第一个技巧处理状态分布。我们忽略状态分布的变化,依然采用旧策略所对应的状态分布。这是对原代价函数的第一次近似。其实,当新旧参数很接近时,我们用旧的状态分布代替新的状态分布也是合理的。
这时,原来的代价函数变成 我们看(8.5)式的第二项策略部分,这时的动作a是由新的策略 产生的,可是新的策略 是带参数
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00018.html
EPUB SHA-256:ae4f315e52c24fa9ecced8c7659f4c69287c6fc9158f48f7899711e24ebd8d57