知识卡片
阈值与约登指数
分类器常输出属于某一类的概率 p̂ 而不是硬类别,需要设阈值(cutoff value,常用 0.5):p̂ 大于阈值判为正类,否则判为负类。阈值不是模型参数而是决策参数,它不改变样本按概率的排序,却改变混淆矩阵:阈值调低,更多样本被判正,召回率上升、精确率下降;阈值调高则相反。因此正确率、精确率、召回率、TPR、FPR 都是阈值的函数,只报一个数字而不交代阈值,结论既不可复现也不可比较。选阈值的统计判据是约登指数(Youden index)=灵敏度+特异度−1=TPR−FPR,几何上就是 ROC 曲线上该点到对角线的竖直距离,越大越靠近左上角;把它画成阈值的曲线取最大值,即该分类器的最优切点,上机实践中对心脏病数据算得 0.556、约登约 0.4896。这仍是纯统计最优,落地还要结合漏诊与误报的代价、患病率等领域知识调整。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第3章 线性分类方法 · 查看原书依据
对于二分类的模型,很多时候并不是给出每个样本预测为哪一类,而是给出其中一类的概率预测,因此我们需要选取一个阈值(cutoff value),比如0.5,当这个预测大于这个阈值时,我们将该观测预测为这一类,否则预测为另一类。
参考来源
- 位置:《大数据挖掘与统计机器学习》第3章 线性分类方法(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter5_0001.xhtml,3.1.2 分类问题评价准则)
- 结论依据:原文先说明模型常给出概率预测、需选阈值把概率转成类别,且不同阈值下各评价指标取值不同;随后给出约登指数=灵敏度+特异度−1 作为最优阈值的判据,并提醒最优阈值需结合领域知识选定时。
- 原始内容:对于二分类的模型,很多时候并不是给出每个样本预测为哪一类,而是给出其中一类的概率预测,因此我们需要选取一个阈值(cutoff value),比如0.5,当这个预测大于这个阈值时,我们将该观测预测为这一类,否则预测为另一类。