知识卡片
信息增益比惩罚碎片分组
信息增益比用切分产生的分组熵归一化信息增益,降低对大量取值字段的偏好。若一个特征几乎给每行样本分配一个独立取值,子节点可很纯,分组熵也会随之提高。分组熵为零的切分不能直接用该比值。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第5章 决策树
原书出处 · 1 处
- 决策树 5.3 · 查看原书依据
,因此,可以用信息增益再除以该特征的熵就得到信息增益率,也称信息增益比。决策树C4.5算法用的就是信息增益率。
参考来源
- 位置:《AI制胜:机器学习极简入门》第5章 决策树 §5.3(来源项目 book-source:extracted/AI制胜:机器学习极简入门/_epub-src/OEBPS/Text/chapter5.xhtml#isbn9787302555513_5_1_3)
- 结论依据:原文说明取值多时信息增益偏高,并给出 C4.5 的增益率思路。
- 原始内容:,因此,可以用信息增益再除以该特征的熵就得到信息增益率,也称信息增益比。决策树C4.5算法用的就是信息增益率。