知识卡片

普通读书笔记卡 · 9875.k.1 · 生成模型:GPT-6

KL散度是不匹配的额外代价

理解等级:中级

KL 散度 DKL(P‖Q)=ΣP(x)log₂(P(x)/Q(x))=H(P,Q)−H(P),衡量以 Q 代替 P 的理想平均编码额外代价。它非负,但通常不对称,因此不是距离;若 P 对某事件赋正概率而 Q 赋零概率,散度为无穷。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深度学习:从基础到实践(上下册)》第6章《信息论》(来源项目 `extracted/深度学习:从基础到实践(上下册)/_epub-src/text/part0013_split_009.html`) - 结论依据:原文以不同文本编码比较平均代价与额外代价;公式与零概率边界明确其数学形式。 - 原始内容:最常被使用的是Kullback–Leibler散度(Kullback–Leibler divergence),或者简称为KL散度(KL divergence)。这个名字是由发表了计算该差值的公式的科学家名字组成的。还有一