← 返回刚才阅读的位置

知识卡片

操作参考卡 · 9632.p · 生成模型:DeepSeek-V4.1-Flash

模拟研究2:高维单变量分类

理解等级:中级

数据:20 个样本、两类各 10 个、500 个与类别独立的解释变量,真实误差应为 50%。代码要点:对每个变量单独用单变量决策树 tree(N~., subdata) 拟合,记录训练错分率 summary(…)$misclass[1],画出 500 个模型的训练误差并标出最低的 4 个;再随机取 16 个作训练、4 个作测试,重拟合这 500 个模型,画训练误差对测试误差的散点。结果解读:全数据上最优的变量在 4 个测试点上表现接近随机猜测——因为变量与分枝阈值都是在 4⁄5 数据上重学的,与留出的 1⁄5 无关。以第 83 号变量为例,全数据边界在 −0.399,4/5 数据边界在 −0.487,错分 1/4。对 50 次重复计算 5 折 CV 误差,箱线图均值约 50%,说明交叉验证本身没问题,问题在「先在全数据上挑变量」。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第4章 模型评价与选择 · 查看原书依据

      这是因为交叉验证的模型是在80%的训练数据集上重新拟合的,在这个例子里,意味着最优变量和分枝阈值都是在80%的数据集里得到的,与预留的20%的数据无关。

    参考来源

    - 位置:《大数据挖掘与统计机器学习》第4章 模型评价与选择(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter6_0004.xhtml,4.4.2 模拟研究2) - 结论依据:原文给出模拟设置、单变量决策树代码、图4—8 的四幅图解读,并以第 83 号变量与 50 次 CV 误差箱线图说明结论。 - 原始内容:这是因为交叉验证的模型是在80%的训练数据集上重新拟合的,在这个例子里,意味着最优变量和分枝阈值都是在80%的数据集里得到的,与预留的20%的数据无关。