知识卡片
Softmax将类别分数归一化
对互斥类别的 logits,softmax 将每个指数值除以全部指数值之和,所得非负且总和为 1,并保留分数排序。计算时先减最大 logit 可降低溢出风险;归一化只产生模型的概率估计,并不保证真实频率校准。多标签任务一般不能用互斥类别的 softmax 代替各标签独立建模。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 激活函数 · 查看原书依据
softmax是完成这一步最常见的方法
参考来源
- 位置:《深度学习:从基础到实践(上下册)》第17章《激活函数》17.8(来源项目 `extracted/深度学习:从基础到实践(上下册)/_epub-src/text/part0024_split_008.html`)
- 结论依据:softmax是完成这一步最常见的方法。
- 原始内容:softmax是完成这一步最常见的方法。 从数学上讲,任何一组概率的重要特征就是:它们相加之和等于1。如果我们仅是单独修改网络的每一个输出,就不可能知道其他值,也无法确定它们相加之和是多少。