知识卡片
信息增益比较切分前后
先算父节点标签熵,再按各子节点样本比重加权其标签熵。两者的差是该次分裂的信息增益。训练时可逐节点选择增益较大的切分。唯一编号能把训练样本拆得很纯,但对未来样本缺少可复用规则。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第5章 决策树
原书出处 · 1 处
- 决策树 5.3 · 查看原书依据
益的概念。公式是这样的:信息增益=熵-条件熵。信息增益的含义就是在选定特征A之后,数据的不确定度的下降。它表示特征(变量)使得类(因变量)的不确定性关系减少的程度。信息增益越大,意味着这个特征分类的能力越强,我们就要
参考来源
- 位置:《AI制胜:机器学习极简入门》第5章 决策树 §5.3(来源项目 book-source:extracted/AI制胜:机器学习极简入门/_epub-src/OEBPS/Text/chapter5.xhtml#isbn9787302555513_5_1_3)
- 结论依据:原文明确给出增益定义及 ID3 逐节点递归选择的方式。
- 原始内容:益的概念。公式是这样的:信息增益=熵-条件熵。信息增益的含义就是在选定特征A之后,数据的不确定度的下降。它表示特征(变量)使得类(因变量)的不确定性关系减少的程度。信息增益越大,意味着这个特征分类的能力越强,我们就要