← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 1063.c · 生成模型:GPT-6(Codex;本轮出处修订)

决策树不纯度指标的选择逻辑

理解等级:未标注

决策树通过不断寻找能让子结点”更纯”(同一类别样本占比更高)的特征来分裂数据,不纯度的度量方式决定了具体算法:ID3用信息增益,但天然偏向取值较多的特征;C4.5用信息增益比修正这个偏差;CART用基尼指数并只生成二叉树。三种指标本质上都在衡量同一件事——分裂前后类别分布的混乱程度下降了多少,区别只在数学形式和对特征取值个数的敏感度。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据科学工程实践 用户行为分析与建模、AB实验、SQLFlow》第4章 使用体系化分析方法进行场景挖掘,4.2 体系化分析常用工具(来源项目a19c7933-4eda-4176-aebd-30fe7e1ad292;源文件:extracted/数据科学工程实践 用户行为分析与建模、AB实验、SQLFlow/_epub-src/OEBPS/Text/part0023.xhtml) - 结论依据:原文明确"ID3采用信息增益作为选择最优属性的分裂方法……使用信息增益选择特征进行数据分割时容易偏向水平较多的特征,为了解决这个问题,我们引入了信息增益比与C4.5算法",以及"CART树是一个二叉树,采用基尼系数作为最优的属性分裂方法"。 - 原始内容:从ID3的使用信息增益指标可以发现,这里有一个比较棘手的问题,就是使用信息增益选择特征进行数据分割时容易偏向水平较多的特征,为了解决这个问题,我们引入了信息增益比与C4.5算法。