知识卡片
信息增益挑选分裂属性
条件熵:知道属性 X 的取值后,输出 Y 还剩多少不确定性,等于按 X 的每个取值把数据切开,分别算子集里 Y 的熵,再以各子集的比例加权平均。
信息增益:基础熵(分裂前父节点的熵)减去条件熵(分裂后的加权熵)。它衡量这次分裂消除了多少不确定性,值越大说明该属性把类别分得越开。
选择规则:每一轮对所有候选属性算增益,取最大者作为当前节点的分裂属性,再对每个子集递归重复。银行营销案例中 poutcome 的增益最高,于是成为根节点的测试。
两个性质: - 条件熵永远不大于基础熵,所以增益非负;属性与结果完全无关时二者相等,增益为零; - 增益的绝对值常常很小,案例中最高只有 0.0289,有意义的是属性之间的相对大小。
偏向:信息增益偏好取值多的属性,因为切得越碎子节点越纯,这也是 C4.5 改用增益率的原因。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第7章 高级分析理论与方法:分类 · 查看原书依据
信息增益比较了分裂前的父节点纯净度等级与分裂后的的子节点的纯净度等级。每一次分裂时,信息增益最大的属性则被认为是最能提供信息的属性。信息增益表明一个属性的纯净度。
参考来源
- 位置:《数据科学与大数据分析 数据的发现 分析 可视化与表示》第7章 高级分析理论与方法:分类(源文件:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0017_split_001.html)
- 结论依据:7.1.2 节先定义条件熵,再把信息增益定义为基础熵与条件熵之差,并说明每次分裂选增益最大的属性。
- 原始内容:信息增益比较了分裂前的父节点纯净度等级与分裂后的的子节点的纯净度等级。每一次分裂时,信息增益最大的属性则被认为是最能提供信息的属性。信息增益表明一个属性的纯净度。