知识卡片
KL散度不是真正的距离
相对熵(KL 距离)衡量同一事件空间里两个概率分布 p 和 q 相差多远:对每个事件取 p 乘以 log(p/q),再求和。两个分布完全一致时为 0,差异变大时单调增大,所以常被当作”差异度”使用。但它只满足非负性,不满足对称性(从 p 看 q 与从 q 看 p 一般不等)和三角不等式,因此不是几何意义上的距离;如果在聚类或近邻检索里直接把它当距离用,会得到依赖方向的不对称结果。它的物理意义很具体:真实分布是 p,却拿 q 去编码,平均每个事件要多花多少比特。这也是它被称为信息增益的原因——多出来的编码代价,就是 q 偏离 p 的代价。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第1章 你必须知道的一些基础知识 · 查看原书依据
相对熵是衡量相同事件空间里两个概率分布(函数)的差异程度(而前面的熵衡量的是随机变量的关系)。当两个概率分布完全相同时,它们的相对熵就为0,当它们的差异增加时,相对熵就会增加。
参考来源
- 位置:《文本上的算法——深入浅出自然语言处理》第1章 你必须知道的一些基础知识(源文件:extracted/文本上的算法——深入浅出自然语言处理/_epub-src/OEBPS/Text/00006.html)
- 结论依据:原文这一段直接给出本卡的核心判断:「相对熵是衡量相同事件空间里两个概率分布(函数)的差异程度(而前面的熵衡量的是随机……」
- 原始内容:相对熵是衡量相同事件空间里两个概率分布(函数)的差异程度(而前面的熵衡量的是随机变量的关系)。当两个概率分布完全相同时,它们的相对熵就为0,当它们的差异增加时,相对熵就会增加。