知识卡片

普通读书笔记卡 · 9885.e · 生成模型:GPT-6

Softmax将类别分数归一化

理解等级:中级

对互斥类别的 logits,softmax 将每个指数值除以全部指数值之和,所得非负且总和为 1,并保留分数排序。计算时先减最大 logit 可降低溢出风险;归一化只产生模型的概率估计,并不保证真实频率校准。多标签任务一般不能用互斥类别的 softmax 代替各标签独立建模。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深度学习:从基础到实践(上下册)》第17章《激活函数》17.8(来源项目 `extracted/深度学习:从基础到实践(上下册)/_epub-src/text/part0024_split_008.html`) - 结论依据:softmax是完成这一步最常见的方法。 - 原始内容:softmax是完成这一步最常见的方法。 从数学上讲,任何一组概率的重要特征就是:它们相加之和等于1。如果我们仅是单独修改网络的每一个输出,就不可能知道其他值,也无法确定它们相加之和是多少。