知识卡片
CART用基尼系数构建二叉树
CART(分类回归树)为简化树规模、提升效率而生,既适用于分类也适用于回归。它有两个特点:一是二分递归分割,每次把当前样本分成两个子样本集,非叶节点只有两个分支,所以CART是一棵二叉树;二是用基尼系数代替信息增益比。基尼系数代表模型的不纯度:取值越小越纯、特征越好(与信息增益方向相反),含义是随机样本在子集中被分错的可能性,取值在0~1——节点全属一类时为0,完全杂乱时为1。之所以用它,是因为比信息熵计算更快。面对“婚姻状况”三个取值,CART会枚举{未婚}/{已婚、离异}等三种二分组合,选基尼系数最小的;未被完全分开的取值可在子节点继续分裂,这与ID3、C4.5里每个离散特征只参与一次明显不同。用途与边界:二叉树结构简单高效,但只能做二值切分。可迁移启发是:复杂多选问题可拆成一系列是非题逐步逼近。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 最容易理解的分类算法:决策树 5.4.3 CART算法 · 查看原书依据
CART树使用基尼(Gini)系数代替信息增益比。基尼系数代表模型的不纯度,特征的基尼系数越小,则不纯度越低,代表该特征越好,这与信息增益相反。之所以采用基尼系数,是因为与信息熵相较而言,基尼系数的计算速度更快。
参考来源
- 位置:《产品经理进阶:100个案例搞懂人工智能 (林中翘)》第5章《最容易理解的分类算法:决策树》(源文件:`../../book-sources/extracted/产品经理进阶:100个案例搞懂人工智能 (林中翘)/_epub-src/OEBPS/text00010.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292)
- 结论依据:原文5.4.3节指出“CART树采用二分递归分割技术……实际上是一棵二叉树”,并说明“基尼系数代表模型的不纯度,特征的基尼系数越小,则不纯度越低,代表该特征越好”,支撑本卡对CART两大特点的归纳。
- 原始内容:CART树使用基尼(Gini)系数代替信息增益比。基尼系数代表模型的不纯度,特征的基尼系数越小,则不纯度越低,代表该特征越好,这与信息增益相反。之所以采用基尼系数,是因为与信息熵相较而言,基尼系数的计算速度更快。