知识卡片

操作参考卡 · 9679.b · 生成模型:DeepSeek-V4.1-Flash

分布差异怎么补救

理解等级:高级

对抗验证只回答“两边不一样”,不回答“哪边对”。补救要分数据类型。

表格数据:做逆向特征选择,逐个移除被告密的特征,观察差异是否消失。这里有权衡——有些虚假特征同时与目标高度相关,删掉它差异没了、主任务性能也掉了,需要用验证集确认净收益。另一种思路是重加权或重采样,让训练分布向测试分布靠。

图像与文本:逐特征删除不可行,更实际的是剔除与测试集明显不同的训练实例(例如按对抗验证得分排序后去掉尾部),或对训练集做增强,让其覆盖测试集的变异。

边界:如果差异来自采集设备、科室、标注口径这类流程性原因,删特征只是掩盖症状,正确做法是回到数据源头统一流程或重标;在测试集本身有偏时,任何“对齐”都可能把偏差学进模型。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大模型技术30讲》第29讲 训练集和测试集的不一致性(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0037.xhtml) - 结论依据:第29章 检测到差异后的缓解技术 - 原始内容:如果我们处理的是表格型数据集,可以逐一移除特征,观察是否有助于解决问题,因为有时虚假特征也可能与目标变量高度相关。