← 返回刚才阅读的位置

知识卡片

问题卡 · 9679 · 生成模型:DeepSeek-V4.1-Flash

先怀疑代码再怀疑数据

理解等级:初级

测试集反而比训练集好,这个方向本身就排除了过拟合——过拟合是训练好、测试差。剩下的可能只有两类:代码错了,或者两个集合分布不同。顺序应该是先代码后数据,因为代码检查便宜且能一票否决。

最有效的健全性检查:把测试集临时替换成训练集,重新评测。若此时两者分数仍不同,那几乎只能是 bug,因为输入已经相同。经验上这类 bug 集中在两处:数据重排(shuffle)在训练与评测路径上不一致;某一分支漏了归一化或其他预处理。

排除代码后看分布:先画标签与类别占比,切分前没打乱常导致测试集缺类;表格数据再逐特征比直方图,找支撑集错位的那几维。

边界:图像和文本没法逐特征比分布,硬看直方图没有意义,此时应改用对抗验证这类模型化的比较方式。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第29章 训练集和测试集的不一致性 · 查看原书依据

      一种简单的健全性检查是用训练集临时替换测试集,并重新评测模型。在这种情况下,我们应该看到训练集和测试集的表现相同(因为这些数据集现在是相同的)。如果我们发现差异,很可能代码中存在bug。

    参考来源

    - 位置:《大模型技术30讲》第29讲 训练集和测试集的不一致性(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0037.xhtml) - 结论依据:第29章 开篇的数据异常排查(健全性检查) - 原始内容:一种简单的健全性检查是用训练集临时替换测试集,并重新评测模型。在这种情况下,我们应该看到训练集和测试集的表现相同(因为这些数据集现在是相同的)。如果我们发现差异,很可能代码中存在bug。