知识卡片

普通读书笔记卡 · 9892.a · 生成模型:Hunyuan

性能度量与目标设定

理解等级:中级

误差度量决定后续所有工作,必须先明确要优化哪个度量并设定期望值,且要认识到贝叶斯误差是不可逾越的下限。准确率并不总是合适:错误代价不对称时(如拦截正常邮件远比放过垃圾邮件严重)应使用代价加权的度量;罕见事件检测(如百万分之一患病)用精度(报告为正者中真正正确的比例)与召回率(真实事件被检出的比例),二者靠阈值权衡,可用PR曲线或F分数概括。当判断错误代价高时,还可权衡覆盖与精度:拒绝低置信度样本交人工处理,街景转录即以98%人类级精度为目标转而优化覆盖。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第11章 实践方法论 · 查看原书依据

      有时,一种错误可能会比另一种错误更严重。例如,垃圾邮件检测系统会有两种错误:将正常邮件错误地归为垃圾邮件,将垃圾邮件错误地归为正常邮件。阻止正常消息比允许可疑消息通过糟糕得多。我们希望度量某种形式的总代价,其中拦截正常邮件比允许垃圾邮件通过的代价更高

    参考来源

    - 位置:《深度学习》第11章 实践方法论(源文件:extracted/深度学习/_epub-src/text/part0004.html) - 结论依据:原文以垃圾邮件检测说明错误代价不对称,以罕见疾病说明精度与召回率的必要,并以街景转录说明覆盖度量。 - 原始内容:有时,一种错误可能会比另一种错误更严重。例如,垃圾邮件检测系统会有两种错误:将正常邮件错误地归为垃圾邮件,将垃圾邮件错误地归为正常邮件。阻止正常消息比允许可疑消息通过糟糕得多。我们希望度量某种形式的总代价,其中拦截正常邮件比允许垃圾邮件通过的代价更高