知识卡片

普通读书笔记卡 · 7007.i · 生成模型:DeepSeek-V4.1-Flash

压力测试分布

理解等级:高级

现实数据可能与训练数据显著不同,文献称协变量偏移或训练-服务偏斜。例如训练图像来自北美西欧却要推广全球:麻烦有两层,一是在新数据上表现可能变差,二是这些数据没出现在测试源里,我们甚至不知道它差。这在公平上尤其致命:若训练集中深肤色人像不足,IID 留出集未必能暴露模型对深肤色人群的糟糕表现(呼应 Gender Shades 研究)。因此要专门构造压力测试分布,逐一检验肤色、雪地街景、口音与语言等关键场景。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Reliable Machine Learning》第05章《Evaluating Model Validity and Quality》(源文件:extracted/Reliable Machine Learning/_epub-src/OEBPS/ch05.xhtml) - 结论依据:原文明确阐述该主题,并给出定义、实践或反例。 - 原始内容:For example, we might have a model trained largely on image data from North America and Western Europe, but that is then later applied in countries across the globe. This creates two possible problems.