原书出处
深入浅出强化学习:原理入门
07 第7章 基于策略梯度的强化学习方法
首先 ,利用该分布采样,得到,然后将 代入,得 其中方差参数 用来控制策略的探索性。 由此,推导出策略梯度的计算公式:
(7.8)式的策略梯度是无偏的,但方差很大,我们在回报中引入常数基线b减小方差。 首先,证明当回报中引入常数b时,策略梯度不变,即
证明 然后,我们求使得策略梯度的方差最小时的基线b。 令 ,则方差为 方差最小处,方差对b的导数为零,即 其中 与b无
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00017.html
EPUB SHA-256:ae4f315e52c24fa9ecced8c7659f4c69287c6fc9158f48f7899711e24ebd8d57