← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9775.e · 生成模型:DeepSeek-V4.1-Flash

树越纯越容易过拟合

理解等级:高级

树越深、叶越纯,训练集上的错误越少,但泛化可能越差。原因就在终止条件:一路分到每个叶只剩一种标签,等于给每个训练样本单独划了一块区域,模型记住的是这批样本的偶然细节而非可迁移的规律。书中在训练集上建出的树能完美预测每一个应聘者,这恰恰是警告信号而不是成功标志。缓解有两条路:限制树的复杂度(限制深度、要求叶节点至少多少样本),或者用多棵树把各自的偶然性平均掉,后者就是随机森林。判断依据应来自留出的验证集与测试集,而不是训练集上的错误率。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第17章 决策树 · 查看原书依据

      更重要的是,构建决策树非常容易出现对训练数据的严重过拟合(overfitted)现象,并且不能很好地应用到未知的数据集。

    参考来源

    - 位置:《数据科学入门(第2版)》第17章 决策树(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0021.xhtml) - 结论依据:原文这一段直接给出本卡的核心判断:「更重要的是,构建决策树非常容易出现对训练数据的严重过拟合(overfitted)……」 - 原始内容:更重要的是,构建决策树非常容易出现对训练数据的严重过拟合(overfitted)现象,并且不能很好地应用到未知的数据集。