原书出处
深入浅出强化学习:原理入门
08 第8章 基于置信域策略优化的强化学习方法
态-行为序列 ,强化学习的回报函数为 这里,我们用 表示策略。 上文已提及,TRPO是要找到新的策略使回报函数单调不减。
一个自然的想法是能否将新的策略所对应的回报函数分解成旧的策略所对应的回报函数加其他项。这样,只要新的策略所对应的其他项大于等于零,那么新的策略就能保证回报函数单调不减。这样的等式其实是存在的,它是2002年由Sham Kakade提出来的
[14] 。TRPO的起点便是这样一个等式: 这里我们用 表示旧的策略,用 表示新的策略。其中 是优势函数。 此处我们再
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00018.html
EPUB SHA-256:ae4f315e52c24fa9ecced8c7659f4c69287c6fc9158f48f7899711e24ebd8d57