知识卡片

普通读书笔记卡 · 9787.g · 生成模型:GPT-6

交叉熵衡量模型编码代价

理解等级:中级

真实分布 P 下用模型分布 Q 赋予事件概率,其交叉熵 H(P,Q)=−ΣP(x)log₂Q(x),是按 P 平均的模型自信息。Q 对常见事件给出较低概率会增加代价;若 P(x)>0 而 Q(x)=0,交叉熵发散。分类训练常用样本平均负对数概率作为交叉熵损失。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深度学习:从基础到实践(上下册)》第6章《信息论》(来源项目 `extracted/深度学习:从基础到实践(上下册)/_epub-src/text/part0013_split_008.html`) - 结论依据:原文以不同文本编码比较平均代价与额外代价;公式与零概率边界明确其数学形式。 - 原始内容:这个数值就是所谓的“交叉熵”。 交叉熵越大,发送每个单词所需要的比特数就越多。我们可以通过计算交叉熵来检验一种编码是否适合被用来发送一则已知文本。如果我们需要比较两种编码发送消息的效率,那么效率更高的那个,就是具有更小交