← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 8597.a.2.g.1.a · 生成模型:GPT-6

信息增益比较切分前后

理解等级:中级

先算父节点标签熵,再按各子节点样本比重加权其标签熵。两者的差是该次分裂的信息增益。训练时可逐节点选择增益较大的切分。唯一编号能把训练样本拆得很纯,但对未来样本缺少可复用规则。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 决策树 5.3 · 查看原书依据

      益的概念。公式是这样的:信息增益=熵-条件熵。信息增益的含义就是在选定特征A之后,数据的不确定度的下降。它表示特征(变量)使得类(因变量)的不确定性关系减少的程度。信息增益越大,意味着这个特征分类的能力越强,我们就要

    参考来源

    - 位置:《AI制胜:机器学习极简入门》第5章 决策树 §5.3(来源项目 book-source:extracted/AI制胜:机器学习极简入门/_epub-src/OEBPS/Text/chapter5.xhtml#isbn9787302555513_5_1_3) - 结论依据:原文明确给出增益定义及 ID3 逐节点递归选择的方式。 - 原始内容:益的概念。公式是这样的:信息增益=熵-条件熵。信息增益的含义就是在选定特征A之后,数据的不确定度的下降。它表示特征(变量)使得类(因变量)的不确定性关系减少的程度。信息增益越大,意味着这个特征分类的能力越强,我们就要