知识卡片
Softmax回归与交叉熵
Softmax 回归先计算各类别的线性分数,再用 Softmax 转为概率,训练时常最小化真实类别的负对数概率。书中的 PyTorch 示例将原始 logits 直接交给 CrossEntropyLoss,因为该损失内部处理归一化;再次预先做 Softmax 会改变计算。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 深度神经网络:误差倒查分解 · 查看原书依据
其实是因为在PyTorch的实现中,交叉熵损失函数CrossEntropyLoss()里已经包含了Softmax。
参考来源
- 位置:《破解深度学习(基础篇)_模型算法与实现》第4章《深度神经网络:误差倒查分解》(来源项目 book-source:`extracted/破解深度学习(基础篇)_模型算法与实现/_epub-src/EPUB/xhtml/qz03_0007.xhtml`,4.5—4.6)
- 结论依据:原文、示意图和示例代码说明模型及流程;笔记补充公式条件与评估边界。
- 原始内容:其实是因为在PyTorch的实现中,交叉熵损失函数CrossEntropyLoss()里已经包含了Softmax。