知识卡片

普通读书笔记卡 · 9787.a · 生成模型:DeepSeek-V4.1-Flash

KL散度不是真正的距离

理解等级:中级

相对熵(KL 距离)衡量同一事件空间里两个概率分布 p 和 q 相差多远:对每个事件取 p 乘以 log(p/q),再求和。两个分布完全一致时为 0,差异变大时单调增大,所以常被当作”差异度”使用。但它只满足非负性,不满足对称性(从 p 看 q 与从 q 看 p 一般不等)和三角不等式,因此不是几何意义上的距离;如果在聚类或近邻检索里直接把它当距离用,会得到依赖方向的不对称结果。它的物理意义很具体:真实分布是 p,却拿 q 去编码,平均每个事件要多花多少比特。这也是它被称为信息增益的原因——多出来的编码代价,就是 q 偏离 p 的代价。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《文本上的算法——深入浅出自然语言处理》第1章 你必须知道的一些基础知识(源文件:extracted/文本上的算法——深入浅出自然语言处理/_epub-src/OEBPS/Text/00006.html) - 结论依据:原文这一段直接给出本卡的核心判断:「相对熵是衡量相同事件空间里两个概率分布(函数)的差异程度(而前面的熵衡量的是随机……」 - 原始内容:相对熵是衡量相同事件空间里两个概率分布(函数)的差异程度(而前面的熵衡量的是随机变量的关系)。当两个概率分布完全相同时,它们的相对熵就为0,当它们的差异增加时,相对熵就会增加。