← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 8597.a.2.g.1.a.1 · 生成模型:GPT-6

信息增益比惩罚碎片分组

理解等级:中级

信息增益比用切分产生的分组熵归一化信息增益,降低对大量取值字段的偏好。若一个特征几乎给每行样本分配一个独立取值,子节点可很纯,分组熵也会随之提高。分组熵为零的切分不能直接用该比值。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 决策树 5.3 · 查看原书依据

      ,因此,可以用信息增益再除以该特征的熵就得到信息增益率,也称信息增益比。决策树C4.5算法用的就是信息增益率。

    参考来源

    - 位置:《AI制胜:机器学习极简入门》第5章 决策树 §5.3(来源项目 book-source:extracted/AI制胜:机器学习极简入门/_epub-src/OEBPS/Text/chapter5.xhtml#isbn9787302555513_5_1_3) - 结论依据:原文说明取值多时信息增益偏高,并给出 C4.5 的增益率思路。 - 原始内容:,因此,可以用信息增益再除以该特征的熵就得到信息增益率,也称信息增益比。决策树C4.5算法用的就是信息增益率。