知识卡片
最大熵奖励匹配示范特征
熵 −Σp log p 衡量分布有多“摊开”:所有轨迹等概率时熵最大,偏向某几条轨迹时熵变小。最大熵逆强化学习只加两条约束:
- 模型下轨迹特征的期望 ΣP(ζ)f_ζ 等于示范的平均特征 f̃(f_ζ 是轨迹 ζ 的特征计数);
- 概率总和为 1。
在此前提下选熵最大的分布,即除了示范已体现的特征外,不额外偏好任何轨迹。用拉格朗日乘子求解得 P(ζ)=exp(Σⱼλⱼfⱼ)/Z:特征加权和越大的轨迹越可能,λⱼ 对应奖励参数;Z 是让概率加起来为 1 的配分函数。
学参数时梯度为 f̃−ΣP(ζ|λ)f_ζ:模型对某特征的期望低于示范,就增大其权重,反之减小;梯度为零时恰好满足特征匹配约束。最大熵是约束下的原则,不意味着模型在所有意义上最好,配分函数计算也可能昂贵。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 2 1 . 2 . 2 基 于 最 大 信 息 熵 的 逆 向 强 化 学 习 · 查看原书依据
21.2.2 基于最大信息熵的逆向强化学习 21.2.2 基于最大信息熵的逆向强化学习 在学习概率模型时,在所有满足约束的概率模型(分布)中,熵最大的模型是最好的模型。
参考来源
- 位置:《智能算法导论》第 205 项《2 1 . 2 . 2 基 于 最 大 信 息 熵 的 逆 向 强 化 学 习》(源文件:`_epub-src/EPUB/xhtml/chapter21_0006.xhtml`)
- 结论依据:式21-14–21-18给出特征匹配、指数族和期望差梯度;熵目标的求和及部分索引有排印简略,不直接作为实现。
- 原始内容:在所有满足约束的概率模型(分布)中,熵最大的模型……λj与回报函数中的参数对应……往往会出现未知的配分函数项Z。