← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9878.i · 生成模型:Hunyuan

最大熵逆强化学习与配分函数

理解等级:高级

从概率视角看逆向强化学习,就是已知专家轨迹这份数据、反求产生它的潜在概率分布。把’特征期望等于专家特征期望’设为约束,用拉格朗日乘子法最大化熵,可解出分布是指数形式:轨迹概率正比于 exp(参数乘特征),参数对应回报函数里的权重。麻烦在于归一化分母是未知的配分函数,最大似然无法直接算,只能用次梯度法迭代,梯度由专家特征期望与模型期望之差给出。无模型时轨迹概率还依赖未知的状态转移概率,于是改求相对熵最大:以均匀策略产生的轨迹分布为参照,导出解后再用重要性采样估计概率。一句话概括:最大熵路线把学回报变成拟合一个指数族分布,而配分函数是主要计算障碍,次梯度与重要性采样都是绕开它的手段。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第11章 逆向强化学习 · 查看原书依据

      一般而言,利用最大似然的方法对式(11.15)中的参数进行求解时,往往会遇到未知的配分函数项 ,因此不能直接求解。一种可行的方法是利用次梯度的方法,如(11.16)式所示。

    参考来源

    - 位置:《深入浅出强化学习:原理入门》第11章 逆向强化学习(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00022.html) - 结论依据:正文给出最大熵分布的指数形式、参数由最大似然求解遇配分函数障碍而改用次梯度,并介绍相对熵与重要性采样。 - 原始内容:一般而言,利用最大似然的方法对式(11.15)中的参数进行求解时,往往会遇到未知的配分函数项 ,因此不能直接求解。一种可行的方法是利用次梯度的方法,如(11.16)式所示。