知识卡片
KL散度是不匹配的额外代价
KL 散度 DKL(P‖Q)=ΣP(x)log₂(P(x)/Q(x))=H(P,Q)−H(P),衡量以 Q 代替 P 的理想平均编码额外代价。它非负,但通常不对称,因此不是距离;若 P 对某事件赋正概率而 Q 赋零概率,散度为无穷。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 信息论 · 查看原书依据
最常被使用的是Kullback–Leibler散度
参考来源
- 位置:《深度学习:从基础到实践(上下册)》第6章《信息论》(来源项目 `extracted/深度学习:从基础到实践(上下册)/_epub-src/text/part0013_split_009.html`)
- 结论依据:原文以不同文本编码比较平均代价与额外代价;公式与零概率边界明确其数学形式。
- 原始内容:最常被使用的是Kullback–Leibler散度(Kullback–Leibler divergence),或者简称为KL散度(KL divergence)。这个名字是由发表了计算该差值的公式的科学家名字组成的。还有一