知识卡片
基尼系数与基尼指数
基尼系数衡量数据有多”杂”,定义是
Gini(p) = 1 − Σ p_k² = Σ p_k(1 − p_k)
后一种写法更好懂:从集合里随机抽两个样本,它们类别不同的概率。全部同类时为 0;K 类均匀分布时最大,为 1 − 1/K。二分类下就是 2p(1−p),p=0.5 时取到 0.5。
把它用到样本集 D 上:
Gini(D) = 1 − Σ_k (|C_k| / |D|)²
若用特征 A 的某个取值 a 把 D 切成 D1、D2 两部分,则划分后的基尼指数是两边的加权平均:
Gini(D, A) = (|D1|/|D|)·Gini(D1) + (|D2|/|D|)·Gini(D2)
CART 分类树的做法就是:对每个特征、每个切分点都算一遍这个加权基尼,选下降最多(即划分后基尼指数最小)的那个切分点,然后递归,直到子集纯净或特征用尽。
和熵相比,基尼省掉了 log 运算,只需平方和,因此计算更快;两者的曲线形状很接近(书图 6-3 把基尼、熵之半、分类误差率画在一起对照),在多数数据上选出的切分点差别不大。这是 [[CART为何用二叉树反复切分]] 选择基尼作为分类准则的直接理由。注意它和经济学里衡量收入差距的基尼系数同名,思想同源(都度量不均匀程度),但这里的公式是为分类纯度服务的。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第06章 决策树
原书出处 · 1 处
- 第6章 决策树 6.2.3 基尼系数 · 查看原书依据
基尼系数(Gini)可以用来度量任何不均匀分布,且介于0~1之间的数(0指完全相等,1指完全不相等)。分类度量时,总体包含的类别越杂乱,基尼系数就越大(与熵的概念相似)。
参考来源
- 位置:《机器学习基础:从入门到求职》第6章《决策树》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00009.html)
- 结论依据:原文定义基尼系数介于 0~1、越大越杂乱,说明基尼指数度量不纯度、越小越纯,并给出按特征取值二分后的加权表达式与"递归选 GiniGain 最小的节点"的生成方式。
- 原始内容:基尼系数(Gini)可以用来度量任何不均匀分布,且介于0~1之间的数(0指完全相等,1指完全不相等)。分类度量时,总体包含的类别越杂乱,基尼系数就越大(与熵的概念相似)。