熵是无失真压缩码长的理论下界

信息熵衡量的是消除信源不确定性所需的平均信息量，本质上是”猜中一个事件平均需要问多少个是非问题”的量化。香农第一定理（无失真变长信源编码定理）证明：对任意信源做适当的可变长编码，平均码长可以无限逼近这个熵值，但不可能低于它——熵是无损压缩能达到的理论天花板。这个定理只保证”存在这样的编码方式”，并不告诉你具体怎么构造，这也是后续哈夫曼编码、算术编码等具体方案要解决的问题：如何在实际可实现的复杂度约束下，逼近这个由信源统计特性决定、与具体编码方案无关的理论极限。任何”压缩率还能不能再提升”的问题，最终都要回到”当前平均码长离信源熵还有多远”这个基准来判断。