知识卡片
节点划分比较不纯度下降
分类树可按信息增益或基尼不纯度评价划分:将父节点不纯度与按样本比例加权的子节点不纯度比较,选择下降较大的候选。基尼不纯度为 1−Σpᵢ²,反映类别混杂程度;它不等同于总是预测多数类的错误率。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 分类器 · 查看原书依据
信息增益(Information Gain,IG)方法
参考来源
- 位置:《深度学习:从基础到实践(上下册)》第13章《分类器》(来源项目 `extracted/深度学习:从基础到实践(上下册)/_epub-src/text/part0020_split_005.html`)
- 结论依据:原文解释间隔、核技巧及树的节点划分;卡片明确 C、核选择和加权不纯度的边界。
- 原始内容:信息增益(Information Gain,IG)方法:计算所有子节点单元的熵,将它们加在一起,并将这个结果与父节点单元中的熵进行比较。记得第6章中我们提到,熵是用来测量复杂度的,或者说需要多少比特来传递一些信息。当某一