知识卡片
决策树与信息增益
决策树的吸引力在于可解释性:它把数据自顶向下划分,通过回答一系列二元问题来判定类标(如”萼片宽度是否达到阈值”)。构建时从树根开始,每次选能带来最大信息增益(IG)的特征划分,再在各子节点迭代,直到叶节点样本全属同一类。信息增益 = 父节点不纯度 − 各子节点不纯度总和,子节点越纯增益越大。常用的不纯度标准有三种:基尼系数、熵、误分类率。熵在节点内各类均匀分布时最大、纯属于一类时为 0,其准则等价于最大化互信息;基尼与熵实践结果很接近;误分类率对节点内类别数量变化不敏感,适合剪枝但不建议用于构建树。深度过大的树决策边界过于复杂、易过拟合,通常靠剪枝限定最大深度。决策树不需要特征缩放。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 3.6 决策树 · 查看原书依据
基于可获得最大信息增益(information gain,IG)的特征来对数据进行划分
参考来源
- 位置:《Python机器学习》第3章《3.6 决策树》《3.6.1 最大化信息增益》(源文件:`../../book-sources/extracted/Python机器学习/_epub-src/OEBPS/Text/part0041.xhtml.xhtml)
- 结论依据:原文讲决策树可解释性、自顶向下按最大信息增益划分、信息增益定义、三种不纯度标准及熵/基尼/误分类率特点、剪枝防过拟合。
- 原始内容:基于可获得最大信息增益(information gain,IG)的特征来对数据进行划分