知识卡片

普通读书笔记卡 · 9878.h · 生成模型:Hunyuan

最大熵原理与歧义性

理解等级:高级

最大边际方法有个根深蒂固的毛病:常常不存在单个回报函数能让专家行为既最优又明显优于其他行为,或者很多不同回报函数都会导出同一个专家策略,这就是歧义;学出来的回报会带随机偏好。概率模型给出的解法是最大熵。熵在概率论里度量不确定性,不确定性越大熵越大,固定区间上均匀分布熵最大——因为每点概率相等、取哪个值最不确定。最大熵原理说:在所有满足已知约束的分布里,选熵最大的那个,因为它除了约束外不对未知信息做任何主观假设,猜骰子每面 1⁄6 就是典型的最大熵解。搬到逆向强化学习:约束是特征期望等于专家特征期望,在满足它的分布里取熵最大者,等于不凭空给未被约束的行为加偏好,从而化解歧义。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第11章 逆向强化学习 · 查看原书依据

      最大熵原理:在学习概率模型时,在所有满足约束的概率模型(分布)中,熵最大的模型是最好的模型。原因在于通过熵最大所选取的模型,没有对未知(即除了约束已知外)做任何主观假设。也就是说,除了约束条件外,我们不知道任何其他信息。

    参考来源

    - 位置:《深入浅出强化学习:原理入门》第11章 逆向强化学习(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00022.html) - 结论依据:正文先点出最大边际的歧义缺点,再解释熵、最大熵原理与骰子例子,并说明最大熵方法可避免歧义性。 - 原始内容:最大熵原理:在学习概率模型时,在所有满足约束的概率模型(分布)中,熵最大的模型是最好的模型。原因在于通过熵最大所选取的模型,没有对未知(即除了约束已知外)做任何主观假设。也就是说,除了约束条件外,我们不知道任何其他信息。