知识卡片
信息增益比压制多取值特征
信息增益有个系统性偏差:取值种类越多的特征,增益越容易被高估。
原因在条件熵的算法里。把数据按某特征切成很多小组,每组只剩几个样本,组内标签往往”碰巧”很纯,各组熵都接近 0,加权平均后 H(Y|X) 很小,增益自然大。极端情形是拿”客户编号”当特征——每个取值只对应一个样本,每组熵为 0,增益直接等于 H(Y),可这个特征毫无泛化价值。
修正办法是除以特征自身的不确定性:
gR(Y, X) = g(Y, X) / H(X)
分母 H(X) = −Σ p(x) log p(x) 只由特征取值的分布决定。取值越分散、越接近均匀,H(X) 越大,惩罚越重;只有两三个取值的特征分母小,增益基本不被削减。书中房产特征增益 0.1046,除以房产取值的熵后得到增益比,用它和婚姻特征比较才不会一味偏向”取值多”的那一方。
这是一次”用分母做归一化”的典型操作,代价要看清:增益比反过来会偏好取值很少的特征,当某个特征几乎只有一个取值时 H(X)→0,比值会被放大到不稳定。所以它并不是无条件的更优准则,而是把一种偏差换成了另一种偏差;C4.5 用它替换增益,是在实际效果上做的取舍。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第06章 决策树
原书出处 · 1 处
- 第6章 决策树 6.2.2 信息增益比 · 查看原书依据
用信息增益作为划分训练集特征的标准时,有一个潜在的问题,那就是相比之下其会倾向于选择类别取值较多的特征。因此人们提出使用信息增益比(Information Gain Ratio)来对这一问题进行校正。
参考来源
- 位置:《机器学习基础:从入门到求职》第6章《决策树》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00009.html)
- 结论依据:原文明确指出以信息增益为准则"会倾向于选择类别取值较多的特征",并给出增益比定义为信息增益与特征取值熵之比,用以校正该问题。
- 原始内容:用信息增益作为划分训练集特征的标准时,有一个潜在的问题,那就是相比之下其会倾向于选择类别取值较多的特征。因此人们提出使用信息增益比(Information Gain Ratio)来对这一问题进行校正。