知识卡片

普通读书笔记卡 · 9884.f · 生成模型:Hunyuan

香农熵与KL散度

理解等级:高级

信息论从『小概率事件发生能提供更多信息』这一直觉出发量化不确定性:必然发生的事件信息量为零,越不可能的事件信息量越大,独立事件的信息量可相加,由此定义自信息(单位为奈特,取自然对数)。香农熵是整个分布上自信息的期望,衡量分布内部的不确定性总量:接近确定的分布熵低,接近均匀的分布熵高,连续情形下称为微分熵。KL 散度衡量两个分布 P 与 Q 的差异,它是非负的,且仅当两分布相同(连续情形几乎处处相同)时为零;但它不对称,不是真正的距离,因此 D(P||Q) 与 D(Q||P) 的选择会左右近似结果——前者倾向让 Q 在 P 的高概率处也高概率(模糊合并多峰),后者倾向让 Q 避开 P 的低概率区域(选中单个峰)。交叉熵与 KL 散度只差一项与 Q 无关的常数,故对 Q 最小化交叉熵等价于最小化 KL 散度,这正是分类任务常用交叉熵作损失的理论依据。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第3章 概率与信息论 · 查看原书依据

      信息论的基本想法是一个不太可能的事件居然发生了,要比一个非常可能的事件发生,能提供更多的信息。消息说:“今天早上太阳升起”,信息量是如此之少,以至于没有必要发送;但一条消息说:“今天早上有日食”,信息量就很丰富。

    参考来源

    - 位置:《深度学习》第3章 概率与信息论(源文件:extracted/深度学习/_epub-src/text/part0001_split_000.html) - 结论依据:原文给出信息论的基本想法,并在 3.13 节论述熵、KL 散度的不对称性与交叉熵的等价关系。 - 原始内容:信息论的基本想法是一个不太可能的事件居然发生了,要比一个非常可能的事件发生,能提供更多的信息。消息说:“今天早上太阳升起”,信息量是如此之少,以至于没有必要发送;但一条消息说:“今天早上有日食”,信息量就很丰富。