知识卡片

普通读书笔记卡 · 7261.e · 生成模型:WorkBuddy (Claude)

Softmax与交叉熵原理

理解等级:高级

Softmax 是 onehot(argmax) 的光滑近似,用于多分类时按特征预测每个类别概率。其理论基石是 max 函数:max(x,y) 不可导,可用 softplus/sigmoid 类光滑函数逼近(令 k 足够大,∑e^{kx_i}/∑e^{ky_i} ≈ max),并推广到多变量。为数值稳定,Softmax 实际乘衰减系数 C=-max(x_1,…,x_n) 避免指数溢出与 NaN。

把 Softmax 输出与交叉熵结合做损失时,对特定输入 x_j 求导,利用 onehot(仅真实类标签为1)可化简为:梯度 = 预测值 − 真实标签。即若真实类 y_j=1,梯度下降使该类的 logit x_j 增大;y_j=0 则使其降低。这一简洁形式让 Softmax 交叉熵成为多分类最自然、最常用的损失(参见 [[损失函数选择参考]])。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《推荐系统全链路设计:原理解读与业务实践》第6章《神经网络模型调参》(来源项目book-sources;extracted/推荐系统全链路设计:原理解读与业务实践/_epub-src/converter-master/example/312287/60.html;src-039) - 结论依据:原文从 max 不可导→光滑近似→Softmax 为 onehot(argmax) 近似→数值稳定系数 C,并推导出 Softmax 交叉熵梯度恰为“预测值减真实标签”,直接支撑本卡的数学原理讲解。 - 原始内容:这里使用梯度下降来优化损失函数,对特定输入 x j 求导,那么其导数为: 将Softmax的导数代入得: 因为onehot的原因, 只有一个值的标签为1,其余为0,因此式子可以写为: 从上式可以看出,Softmax函数的交叉熵损失的求导结果正好是预测值 和真实标签 y j 之差