知识卡片
模拟研究1:交叉验证流程
数据:随机生成 50 个二分类样本点(25 个 0、25 个 1 后打乱),以及 5000 个服从标准正态的连续解释变量,二者相互独立,故任何分类器的真实测试误差都是 50%。代码要点:先用全部数据按 cor(Q[,i],N) 排序、order 取前 100 个变量,再用 knn(k=1) 做 5 折交叉验证并重复 50 次;随后按正确流程重写,把算相关、选变量、knn 拟合全部放进折内(cor(Q[-test_row,i],N[-test_row]))。结果解读:错误做法平均误差仅 3.4%,选中变量与 y 的平均相关系数达 0.33(真值 0),直方图整体右偏;正确做法平均误差 48.68%,平均相关系数接近 0。差别不在分类器,而在变量筛选有没有偷看测试折。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第4章 模型评价与选择 · 查看原书依据
交叉验证得到的平均误差仅为3.4%(注:因为数据随机生成,所以每次模拟结果略有不同),远远小于真实误差50%。然而这些解释变量和响应变量的相关系数的平均值为0.33
参考来源
- 位置:《大数据挖掘与统计机器学习》第4章 模型评价与选择(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter6_0004.xhtml,4.4.1 模拟研究1)
- 结论依据:原文给出数据生成、错误与正确两段 R 代码及 3.4%、0.33、48.68% 等结果,并归结为「划分数据之前不应使用响应变量的标签信息」。
- 原始内容:交叉验证得到的平均误差仅为3.4%(注:因为数据随机生成,所以每次模拟结果略有不同),远远小于真实误差50%。然而这些解释变量和响应变量的相关系数的平均值为0.33