← 返回卡片

原书出处

深入浅出强化学习:原理入门

12 第12章 组合策略梯度和值函数方法

核验版本的摘录快照 · 导入于 2026-11-19T06:04:54.442Z

)策略梯度的熵正则化。 为防止策略变成确定性策略,失去探索性,实践中常用的一个技巧是在策略梯度上增加一个熵正则化项,即

其中 ,熵是不确定性的度量,不确定性越大熵越大。(12.2)式第二项的意思是让参数朝着不确定性大的方向更新;第一项是向着值函数更大的方向更新。第二项的系数 是正则惩罚参数,该参数在值函数的收敛中有重要的作用。

(2)贝尔曼方程的不动点。 贝尔曼操作符 定义为 该操作符为压缩映射,该压缩映射最后会收敛到一个不动点。 综上,在不动

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00023.html

EPUB SHA-256:ae4f315e52c24fa9ecced8c7659f4c69287c6fc9158f48f7899711e24ebd8d57