知识卡片
信息增益可以评价属性子集
固定一个属性子集,按取值组合把样本分组,以标签熵平均下降量衡量该子集的信息。决策树的单特征评分是特例。逐特征比较可能漏掉合用才有信息的组合,例如平衡的异或数据。大子集可能得到许多很小的分组,训练上的高信息增益还需独立数据验证。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第11章 特征选择与稀疏学习 · 查看原书依据
此为信息增益的定义式.对于数据集和属性子集,假设根据的取值将分为了个子集,那么信息增益的定义为划分之前数据集的信息熵和划分之后每个子数据集的信息熵的差.
参考来源
- 位置:《机器学习公式详解》第11章 特征选择与稀疏学习(book-source:`extracted/机器学习公式详解/_epub-src/text/part0017.html`,式(11.1))
- 结论依据:式(11.1)和(11.2)按属性子集的取值组合计算标签熵的下降。
- 原始内容:此为信息增益的定义式.对于数据集和属性子集,假设根据的取值将分为了个子集,那么信息增益的定义为划分之前数据集的信息熵和划分之后每个子数据集的信息熵的差.