知识卡片
交叉验证须嵌入每一步
问题:常见流程是先用全部数据从大量变量中挑出与 y 最相关的 m 个,再建模型,再用交叉验证估误差。这样报出的误差会远低于真实值。分析:被挑中的 m 个变量在筛选阶段已经看过全部样本,包括后来被留出作测试的那些,因而获得了不公平的优势;先筛后留,违背「测试样本必须完全独立于训练样本」的原则。方案:先随机分 K 份,在每一折内部完成全部依赖数据的步骤——只用其余 K−1 份算相关、选变量、建模,再在该折上预测,K 折结果平均才是误差。由此得出一条通则:多步骤建模中,交叉验证必须应用到每一个步骤,凡是用到 y 或全体样本做决定的操作(筛选、标准化、调参、缺失填补)都要搬进折内。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第4章 模型评价与选择 · 查看原书依据
问题出在哪里呢?原因是挑选出来的m个变量有了不公平的优势,在第(1)步是使用全部样本挑选的。挑选完变量之后再留出样本进行交叉验证有悖测试样本需要完全独立于训练样本的原则。
参考来源
- 位置:《大数据挖掘与统计机器学习》第4章 模型评价与选择(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter6_0003.xhtml,4.3.1 交叉验证法)
- 结论依据:原文指出错误流程及其原因(变量有不公平优势、违背独立性),并给出正确的三步流程与「交叉验证必须应用到建模的每个步骤」的结论。
- 原始内容:问题出在哪里呢?原因是挑选出来的m个变量有了不公平的优势,在第(1)步是使用全部样本挑选的。挑选完变量之后再留出样本进行交叉验证有悖测试样本需要完全独立于训练样本的原则。