知识卡片

普通读书笔记卡 · 9884.h · 生成模型:GPT-6

香农熵是平均自信息

理解等级:中级

离散分布 P 的香农熵 H(P)=−Σp(x)log₂p(x),即按该分布加权的平均自信息,单位是比特。确定发生的单一结果熵为零;固定有限结果数时,均匀分布的熵最大。消息样本的实际码长与编码模型还涉及交叉熵及编码约束,不能简单等同于熵。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深度学习:从基础到实践(上下册)》第6章《信息论》(来源项目 `extracted/深度学习:从基础到实践(上下册)/_epub-src/text/part0013_split_007.html`) - 结论依据:原文通过码字长度和分布的平均信息量解释机制;编码约束与熵/交叉熵区分用于明确适用边界。 - 原始内容:一个概率分布函数的熵是该分布中信息量的预期值。因此熵可以告诉我们对于从该分布中抽取的事件,平均来看我们应该预期接收到多少信息量。 “熵”这个词在其他领域中以类似但不同的方法被使用,它通常用于表示一个系统中的有序度(或者无