知识卡片
交叉熵衡量模型编码代价
真实分布 P 下用模型分布 Q 赋予事件概率,其交叉熵 H(P,Q)=−ΣP(x)log₂Q(x),是按 P 平均的模型自信息。Q 对常见事件给出较低概率会增加代价;若 P(x)>0 而 Q(x)=0,交叉熵发散。分类训练常用样本平均负对数概率作为交叉熵损失。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 信息论 · 查看原书依据
这个数值就是所谓的“交叉熵”
参考来源
- 位置:《深度学习:从基础到实践(上下册)》第6章《信息论》(来源项目 `extracted/深度学习:从基础到实践(上下册)/_epub-src/text/part0013_split_008.html`)
- 结论依据:原文以不同文本编码比较平均代价与额外代价;公式与零概率边界明确其数学形式。
- 原始内容:这个数值就是所谓的“交叉熵”。 交叉熵越大,发送每个单词所需要的比特数就越多。我们可以通过计算交叉熵来检验一种编码是否适合被用来发送一则已知文本。如果我们需要比较两种编码发送消息的效率,那么效率更高的那个,就是具有更小交