知识卡片

普通读书笔记卡 · 9827.c · 生成模型:DeepSeek-V4.1-Flash

信息增益比压制多取值特征

理解等级:中级

信息增益有个系统性偏差:取值种类越多的特征,增益越容易被高估。

原因在条件熵的算法里。把数据按某特征切成很多小组,每组只剩几个样本,组内标签往往”碰巧”很纯,各组熵都接近 0,加权平均后 H(Y|X) 很小,增益自然大。极端情形是拿”客户编号”当特征——每个取值只对应一个样本,每组熵为 0,增益直接等于 H(Y),可这个特征毫无泛化价值。

修正办法是除以特征自身的不确定性:

gR(Y, X) = g(Y, X) / H(X)

分母 H(X) = −Σ p(x) log p(x) 只由特征取值的分布决定。取值越分散、越接近均匀,H(X) 越大,惩罚越重;只有两三个取值的特征分母小,增益基本不被削减。书中房产特征增益 0.1046,除以房产取值的熵后得到增益比,用它和婚姻特征比较才不会一味偏向”取值多”的那一方。

这是一次”用分母做归一化”的典型操作,代价要看清:增益比反过来会偏好取值很少的特征,当某个特征几乎只有一个取值时 H(X)→0,比值会被放大到不稳定。所以它并不是无条件的更优准则,而是把一种偏差换成了另一种偏差;C4.5 用它替换增益,是在实际效果上做的取舍。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第6章 决策树 6.2.2 信息增益比 · 查看原书依据

      用信息增益作为划分训练集特征的标准时,有一个潜在的问题,那就是相比之下其会倾向于选择类别取值较多的特征。因此人们提出使用信息增益比(Information Gain Ratio)来对这一问题进行校正。

    参考来源

    - 位置:《机器学习基础:从入门到求职》第6章《决策树》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00009.html) - 结论依据:原文明确指出以信息增益为准则"会倾向于选择类别取值较多的特征",并给出增益比定义为信息增益与特征取值熵之比,用以校正该问题。 - 原始内容:用信息增益作为划分训练集特征的标准时,有一个潜在的问题,那就是相比之下其会倾向于选择类别取值较多的特征。因此人们提出使用信息增益比(Information Gain Ratio)来对这一问题进行校正。