知识卡片
有效性不等于质量
有效性检查与质量问题关注的层面不同。一个模型可以把每张图都错标成“巧克力布丁”,预测烂到极点,却完全不会让系统崩溃;反过来,一个离线表现优异的模型,也可能因为依赖生产栈尚不存在的特征版本、用了不兼容的 ML 包,或偶发吐出 NaN 而让下游消费者崩溃。可见“不准”不等于“不安全”,“离线好”也不等于“上线稳”。有效性测试是第一道防线,目的只是确认模型不会给系统带来灾难性伤害,之后才谈质量。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 上线前的两道关口
原书出处 · 1 处
- Evaluating Model Validity and Quality · 查看原书依据
For example, a model could be horribly inaccurate, incorrectly guessing that every image shown should be given the label chocolate pudding without causing system-level crashes.
参考来源
- 位置:《Reliable Machine Learning》第05章《Evaluating Model Validity and Quality》(源文件:extracted/Reliable Machine Learning/_epub-src/OEBPS/ch05.xhtml)
- 结论依据:原文明确阐述该主题,并给出定义、实践或反例。
- 原始内容:For example, a model could be horribly inaccurate, incorrectly guessing that every image shown should be given the label chocolate pudding without causing system-level crashes.