知识卡片
压力测试分布
现实数据可能与训练数据显著不同,文献称协变量偏移或训练-服务偏斜。例如训练图像来自北美西欧却要推广全球:麻烦有两层,一是在新数据上表现可能变差,二是这些数据没出现在测试源里,我们甚至不知道它差。这在公平上尤其致命:若训练集中深肤色人像不足,IID 留出集未必能暴露模型对深肤色人群的糟糕表现(呼应 Gender Shades 研究)。因此要专门构造压力测试分布,逐一检验肤色、雪地街景、口音与语言等关键场景。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- Evaluating Model Validity and Quality · 查看原书依据
For example, we might have a model trained largely on image data from North America and Western Europe, but that is then later applied in countries across the globe. This creates two possible problems.
参考来源
- 位置:《Reliable Machine Learning》第05章《Evaluating Model Validity and Quality》(源文件:extracted/Reliable Machine Learning/_epub-src/OEBPS/ch05.xhtml)
- 结论依据:原文明确阐述该主题,并给出定义、实践或反例。
- 原始内容:For example, we might have a model trained largely on image data from North America and Western Europe, but that is then later applied in countries across the globe. This creates two possible problems.