← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9776.g · 生成模型:DeepSeek-V4.1-Flash

训练集不能碰考题

理解等级:中级

要预测 1~100 的 Fizz Buzz,就不能用 1~100 来训练。否则模型只要记住这 100 个答案就够了,测出来的准确率不反映任何泛化能力,这是数据泄漏最朴素的形式。书里的处理是用 101~1023 训练(10 位二进制能表示的最大范围),把 1~100 留作真正的考卷,训练后在留出区间评估,得到 96/100。代价是训练分布与测试分布不完全一致,但对这个问题足够。更普遍的原则是:切分要在建模之前定好,任何从测试集获得的信息——包括用测试集挑训练轮数或超参数——都会让最终数字偏乐观。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第18章 神经网络 · 查看原书依据

      因为目标是把输出构造成 1~100 的数,所以直接用那些数训练其实是作弊。因此,我们用数 101~1023 去训练(这是我们可以用 10 个二进制数字表示的最大数)

    参考来源

    - 位置:《数据科学入门(第2版)》第18章 神经网络(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0022.xhtml) - 结论依据:原文这一段直接给出本卡的核心判断:「因为目标是把输出构造成 1~100 的数,所以直接用那些数训练其实是作弊……」 - 原始内容:因为目标是把输出构造成 1~100 的数,所以直接用那些数训练其实是作弊。因此,我们用数 101~1023 去训练(这是我们可以用 10 个二进制数字表示的最大数)