知识卡片
softmax不等于置信度
常见误解是把最后一层 Sigmoid 或 softmax 输出的概率当作置信度,认为概率越高越可信。原文明确指出这不是信心:概率描述的是一个结果相对于另一个结果的相对大小,并不解释整体的把握程度。也就是说,softmax 只给出各类别间的相对倾向,无法告诉我们模型对这次预测整体是否有把握。要获得真正的置信度,需要引入不确定性建模,让同一输入在不同参数样本下的预测一致性来反映信心,这正是[[贝叶斯视角:参数分布与置信度]]要解决的问题。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 深度学习的新趋势 不确定性:模型不知道的事 · 查看原书依据
您可能会争辩说,最后一个 Sigmoid 或 softmax 层提供了预测结果的可能性。 这不是信心吗? 概率越高,置信度越高? 不幸的是,这不是信心,因为概率描述了一个结果相对于另一个的结果,但并不能解释整体的信心。
参考来源
- 位置:《Python深度学习架构实用指南(初译)》第08章《深度学习的新趋势》(源文件:`../../book-sources/extracted/Python深度学习架构实用指南(初译)/_epub-src/OEBPS/Text/15.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292)
- 结论依据:原文用概率描述一个结果相对于另一个、但不能解释整体信心,直接否定了 softmax 即置信度的观点,支撑须另寻置信度度量。
- 原始内容:您可能会争辩说,最后一个 Sigmoid 或 softmax 层提供了预测结果的可能性。 这不是信心吗? 概率越高,置信度越高? 不幸的是,这不是信心,因为概率描述了一个结果相对于另一个的结果,但并不能解释整体的信心。