返回主题:强化学习与多智能体

知识卡片

普通读书笔记卡 · 3796.e.2

最大熵奖励匹配示范特征

理解等级:高级

熵 −Σp log p 衡量分布有多“摊开”:所有轨迹等概率时熵最大,偏向某几条轨迹时熵变小。最大熵逆强化学习只加两条约束:

  • 模型下轨迹特征的期望 ΣP(ζ)f_ζ 等于示范的平均特征 f̃(f_ζ 是轨迹 ζ 的特征计数);
  • 概率总和为 1。

在此前提下选熵最大的分布,即除了示范已体现的特征外,不额外偏好任何轨迹。用拉格朗日乘子求解得 P(ζ)=exp(Σⱼλⱼfⱼ)/Z:特征加权和越大的轨迹越可能,λⱼ 对应奖励参数;Z 是让概率加起来为 1 的配分函数。

学参数时梯度为 f̃−ΣP(ζ|λ)f_ζ:模型对某特征的期望低于示范,就增大其权重,反之减小;梯度为零时恰好满足特征匹配约束。最大熵是约束下的原则,不意味着模型在所有意义上最好,配分函数计算也可能昂贵。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《智能算法导论》第 205 项《2 1 . 2 . 2 基 于 最 大 信 息 熵 的 逆 向 强 化 学 习》(源文件:`_epub-src/EPUB/xhtml/chapter21_0006.xhtml`) - 结论依据:式21-14–21-18给出特征匹配、指数族和期望差梯度;熵目标的求和及部分索引有排印简略,不直接作为实现。 - 原始内容:在所有满足约束的概率模型(分布)中,熵最大的模型……λj与回报函数中的参数对应……往往会出现未知的配分函数项Z。