原书出处
深入浅出强化学习:原理入门
10 第10章 基于引导策略搜索的强化学习方法
以表示成如(10.1)式的KL散度呢? 我们利用KL散度公式展开目标函数: 将 代入(10.2)并忽略常数,可以得到:
第一项为分布q的熵,第二项为累积回报的期望。(10.1)式最小化目标函数相当于最大化累积回报和最大化熵。这里熵是不确定性的度量,不确定越大,熵越大。此处的最大化熵是为了保证最优控制分布是一个分布,而非一个确定值。
第二项是最大化累积回报,和常用的强化学习目标保持一致。 将约束利用拉格朗日乘子代入目标函数,cGPS整个问题的拉格朗日函
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00020.html
EPUB SHA-256:ae4f315e52c24fa9ecced8c7659f4c69287c6fc9158f48f7899711e24ebd8d57