原书出处
深入浅出强化学习:原理入门
12 第12章 组合策略梯度和值函数方法
)策略梯度的熵正则化。 为防止策略变成确定性策略,失去探索性,实践中常用的一个技巧是在策略梯度上增加一个熵正则化项,即
其中 ,熵是不确定性的度量,不确定性越大熵越大。(12.2)式第二项的意思是让参数朝着不确定性大的方向更新;第一项是向着值函数更大的方向更新。第二项的系数 是正则惩罚参数,该参数在值函数的收敛中有重要的作用。
(2)贝尔曼方程的不动点。 贝尔曼操作符 定义为 该操作符为压缩映射,该压缩映射最后会收敛到一个不动点。 综上,在不动
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00023.html
EPUB SHA-256:ae4f315e52c24fa9ecced8c7659f4c69287c6fc9158f48f7899711e24ebd8d57