信息熵定义压缩的理论下限

香农信息熵衡量的是一个信源的不确定性：符号出现概率越平均、越随机，熵越大；某个符号出现概率越高，它携带的自信息量就越小。信息熵等于对每个符号的自信息量按概率加权求和，代表对这个信源编码所需的平均比特数下限——任何无损压缩算法的压缩率都无法突破这个极限，因为它反映的是数据本身固有的冗余度，而不是编码技巧的优劣。发散：这解释了为什么已经被压缩过的文件（如视频、zip包）再次压缩几乎没有效果——数据的冗余已经被前一次压缩榨干，熵已经逼近文件本身的比特数。