知识卡片
交叉熵与分类损失
分类任务的输出是表示类别的整数标签,而非可直接相减的连续值,所以回归式的差异损失在这里失效。做法是把分类看成预测输入属于每个类别的概率:训练标签用 0 或 1 表示,分别意味着属于或不属于该类,因而标签本身也可视为一种概率分布。交叉熵正是用来比较两个概率分布——模型预测分布与期望标签分布——的差异,两个分布越接近则交叉熵越小,差异越大则越大;因公式中使用对数,它又称对数损失。这为 [[网络训练的三个环节]] 中最小化损失提供了适配分类的目标函数,并在 [[建模、训练与 Keras 简化]] 中以 softmax 搭配交叉熵的形式落地。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 深度前馈网络 训练机制:损失、梯度与反向传播 · 查看原书依据
由于使用了对数,因此交叉熵也称为对数损失。 当两个概率分布相似时,交叉熵损失将减少,并且当分布彼此不同时,交叉熵损失将增加。
参考来源
- 位置:《Python深度学习架构实用指南(初译)》第02章《深度前馈网络》(源文件:`../../book-sources/extracted/Python深度学习架构实用指南(初译)/_epub-src/OEBPS/Text/05.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292)
- 结论依据:原文把分类标签解释为概率值,进而用交叉熵比较预测分布与标签分布,并说明其别名对数损失及随分布差异变化的规律,支撑分类损失的表述。
- 原始内容:由于使用了对数,因此交叉熵也称为对数损失。 当两个概率分布相似时,交叉熵损失将减少,并且当分布彼此不同时,交叉熵损失将增加。