知识卡片
用"预测它要花多少比特"来定义两个符号有多相似
内容
判断新标记该归入库里哪个符号，最直接的想法是逐像素比较差异，但两个字母e可能有29个像素不同，而c和o差异更明显却可能只有23个像素不同——数差异像素并不能反映像不像。基于压缩的模板匹配把候选符号当预测模型，用它周围像素预测未知标记像素黑白，把编码整个标记所需总比特数（交叉熵）作为匹配代价，选代价最小的作最佳匹配，天然解决局部聚集差异更致命的几何直觉问题，代价是要为每个候选单独训练模型再计算。
参考来源
- 位置：第7章《文本图像》「模板匹配」小节（源文件：_chapter-text/ch07.txt）
- 结论依据：原文用两个e有29个像素不同、c和o只有23个像素不同却更容易区分的具体例子，说明单纯异或计数的缺陷，并引入交叉熵作为匹配代价，直接支持卡片论点。
- 原始内容："顶部的两个e有29个像素不同，而c和o的差异仅有23个像素，但是后者的差别显然更为显著……所计算的所有量只是编码每个像素所需要的总比特数……一个标记相对于另一个标记的熵测度是至关重要的，我们称之为'交叉熵'（cross-entropy）。"