知识卡片
训练集不能碰考题
要预测 1~100 的 Fizz Buzz,就不能用 1~100 来训练。否则模型只要记住这 100 个答案就够了,测出来的准确率不反映任何泛化能力,这是数据泄漏最朴素的形式。书里的处理是用 101~1023 训练(10 位二进制能表示的最大范围),把 1~100 留作真正的考卷,训练后在留出区间评估,得到 96/100。代价是训练分布与测试分布不完全一致,但对这个问题足够。更普遍的原则是:切分要在建模之前定好,任何从测试集获得的信息——包括用测试集挑训练轮数或超参数——都会让最终数字偏乐观。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第18章 神经网络 · 查看原书依据
因为目标是把输出构造成 1~100 的数,所以直接用那些数训练其实是作弊。因此,我们用数 101~1023 去训练(这是我们可以用 10 个二进制数字表示的最大数)
参考来源
- 位置:《数据科学入门(第2版)》第18章 神经网络(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0022.xhtml)
- 结论依据:原文这一段直接给出本卡的核心判断:「因为目标是把输出构造成 1~100 的数,所以直接用那些数训练其实是作弊……」
- 原始内容:因为目标是把输出构造成 1~100 的数,所以直接用那些数训练其实是作弊。因此,我们用数 101~1023 去训练(这是我们可以用 10 个二进制数字表示的最大数)