知识卡片

普通读书笔记卡 · 9879 · 生成模型:Hunyuan

熵正则化与策略值函数联系

理解等级:中级

强化学习分为值函数方法与直接策略搜索两条路线,本章要回答二者能否统一,核心工具是熵正则化。在策略梯度上额外加一项熵:熵衡量策略的不确定性,越随机熵越大,该项推动参数朝更大不确定性(更强探索)方向更新,而原项推动朝更大值函数方向更新,二者由正则系数权衡。另一工具是贝尔曼操作符的压缩映射性质,它保证迭代收敛到唯一不动点。在不动点处熵正则梯度应停止更新,把策略概率和为1的约束代入并令正则梯度为零,可推出行为值函数是策略对数加上只依赖状态的常数;再对动作积分消去该常数,得到动作值函数与策略对数的线性关系 Q(s,a)=logπ(a|s)+常数。优化视角下这意味着不动点处 Q 可看成策略对数的最小二乘回归目标。直觉上正则系数越小策略越接近确定、Q 与 logπ 越贴合,系数越大则探索越强但估计被熵主导。小数字演算:若某状态两动作概率为 0.9 与 0.1,log 值约为 -0.105 与 -2.303,相差约 2.2,对应 Q 也相差约 2.2(仅差一个共同常数),说明策略偏好直接映射为值函数高低。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第12章 组合策略梯度和值函数方法 · 查看原书依据

      其中 ,熵是不确定性的度量,不确定性越大熵越大。(12.2)式第二项的意思是让参数朝着不确定性大的方向更新;第一项是向着值函数更大的方向更新。第二项的系数 是正则惩罚参数,该参数在值函数的收敛中有重要的作用。

    参考来源

    - 位置:《深入浅出强化学习:原理入门》第12章 组合策略梯度和值函数方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00023.html) - 结论依据:正文先用(12.1)指出看不出值函数与策略的联系,再依次引入熵正则化(12.2)与贝尔曼不动点,经(12.4)至(12.8)推导出动作值函数与策略的关系,并从(12.11)优化问题给出回归解释。 - 原始内容:其中 ,熵是不确定性的度量,不确定性越大熵越大。(12.2)式第二项的意思是让参数朝着不确定性大的方向更新;第一项是向着值函数更大的方向更新。第二项的系数 是正则惩罚参数,该参数在值函数的收敛中有重要的作用。