知识卡片
每种整数编码方式都隐含一个概率分布假设
内容
按香农信息量公式反推，任何给整数分配变长码字的编码方案都等价于假设一个特定的概率分布：编码越短，就相当于认定该数值概率越高。普通二进制编码假设所有值均匀分布；一元编码让编码长度随数值线性增长，隐含概率按2的负幂次陡峭衰减；γ编码隐含概率与数值平方成反比。选编码方式本质是选一个先验假设去匹配数据的真实分布，这也是为何后续要引入贝努里模型等更贴近真实分布的模型。
参考来源
- 位置：第3章《索引》「隐含概率分布」小节（源文件：_chapter-text/ch03.txt）
- 结论依据：原文明确指出二进制编码隐含均匀分布假设，一元编码隐含指数递减分布假设，直接支持卡片对'编码方式即隐含概率假设'的论述。
- 原始内容："用隐含的概率分布来考虑一种编码方式是否理想是比较直观的……二进制编码所隐含的概率分布模型是每个倒排列表的文档间隔大小随机地均匀分布……一元编码……很明显是把长度为……"