← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 7007.j · 生成模型:DeepSeek-V4.1-Flash

切片与反事实测试

理解等级:高级

两种构造针对性测试分布的手法值得配套使用。切片分析按某个特征的值过滤测试集,能切出“只有雪地背景的图片”“上市第一周的股票”“红色系毛线”等子集分别看表现,前提是每个切片还有足够样本,切得太细就没有统计意义。反事实测试更进一步:改动输入看模型会怎么预测,例如把狗的背景从草地换成雪地或云、把主演代词从 he 换成 she;没有匹配样本时便合成反事实样本。它最适合验证“某个改动不该显著改变预测”,从而暴露模型依赖了哪些信息源。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Reliable Machine Learning》第05章《Evaluating Model Validity and Quality》(源文件:extracted/Reliable Machine Learning/_epub-src/OEBPS/ch05.xhtml) - 结论依据:原文明确阐述该主题,并给出定义、实践或反例。 - 原始内容:This is sometimes called counterfactual testing because the data that we end up feeding to the model runs counter to the actual data in some way.