知识卡片
树越纯越容易过拟合
树越深、叶越纯,训练集上的错误越少,但泛化可能越差。原因就在终止条件:一路分到每个叶只剩一种标签,等于给每个训练样本单独划了一块区域,模型记住的是这批样本的偶然细节而非可迁移的规律。书中在训练集上建出的树能完美预测每一个应聘者,这恰恰是警告信号而不是成功标志。缓解有两条路:限制树的复杂度(限制深度、要求叶节点至少多少样本),或者用多棵树把各自的偶然性平均掉,后者就是随机森林。判断依据应来自留出的验证集与测试集,而不是训练集上的错误率。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第17章 决策树
原书出处 · 1 处
- 第17章 决策树 · 查看原书依据
更重要的是,构建决策树非常容易出现对训练数据的严重过拟合(overfitted)现象,并且不能很好地应用到未知的数据集。
参考来源
- 位置:《数据科学入门(第2版)》第17章 决策树(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0021.xhtml)
- 结论依据:原文这一段直接给出本卡的核心判断:「更重要的是,构建决策树非常容易出现对训练数据的严重过拟合(overfitted)……」
- 原始内容:更重要的是,构建决策树非常容易出现对训练数据的严重过拟合(overfitted)现象,并且不能很好地应用到未知的数据集。