知识卡片

普通读书笔记卡 · 9751.d · 生成模型:DeepSeek-V4.1-Flash

基尼指数与CART

理解等级:中级

基尼指数(Gini index) 是 CART 使用的分裂准则,与熵一样度量节点杂质,但不用对数,只做平方:节点中各类比例的平方和越接近 1 越纯;两类各半时基尼为 0.5,达到最大。

与熵的差别: - 计算上基尼只涉及乘法,比熵快,在大数据上更省; - 两者形状相似,选出的分裂点通常一致,少数情况下不同; - 熵对纯净节点更敏感,基尼在中间状态更平滑。

CART 的整体策略与 C4.5 也不同:它先长出一串不同规模的子树,再用交叉验证估计每棵子树的误分类代价,挑代价最低的那棵,而不是靠一条停止规则提前收手。这种先长后剪的思路把复杂度控制交给数据,代价是计算量更大。

适用:CART 同时支持分类树与回归树,连续属性排序后取中点切分;输出是类别时用基尼,输出是连续值时改用平方误差。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第7章 高级分析理论与方法:分类 · 查看原书依据

      CART(Classification And Regression Tree)[9]是一种决策树的特定实现,尽管它经常被当作决策树的一个通用缩写。 类似C4.5,CART可以处理连续属性。与C4.5使用基于熵的准则来排序测试(rank tests)不同,CART使用基尼多样化指数,该指数的定义如公式7.5所示。

    参考来源

    - 位置:《数据科学与大数据分析 数据的发现 分析 可视化与表示》第7章 高级分析理论与方法:分类(源文件:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0017_split_001.html) - 结论依据:7.1.3 节比较 C4.5 与 CART:CART 用基尼多样化指数排序测试,并构建子树序列后用交叉验证选代价最低者。 - 原始内容:CART(Classification And Regression Tree)[9]是一种决策树的特定实现,尽管它经常被当作决策树的一个通用缩写。 类似C4.5,CART可以处理连续属性。与C4.5使用基于熵的准则来排序测试(rank tests)不同,CART使用基尼多样化指数,该指数的定义如公式7.5所示。