知识卡片
分裂收益按样本数加权
对每条样本先观察划分属性,再预测类别。观察属性后的平均不确定性是各分支熵乘该分支出现比例。原熵减这项得到信息增益,也等于类别与该属性在经验分布下的互信息。一个很纯但很小的分支对总体的贡献相应很小。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第4章 决策树
原书出处 · 1 处
- 第4章 决策树 · 查看原书依据
此为信息增益的定义式.在信息论中信息增益也称为互信息(参见本章附注①),表示已知一个随机变量的信息后另一个随机变量的不确定性减少的程度.所以此式可以理解为,在已知属性的取值后,样本类别这个随机变量的不确定性减小的程度.若
参考来源
- 位置:《机器学习公式详解》第4章 决策树(book-source:`extracted/机器学习公式详解/_epub-src/text/part0010_split_000.html`,式(4.2))
- 结论依据:式(4.2)将划分后各组熵按组占比加权,再从划分前的熵扣除。
- 原始内容:此为信息增益的定义式.在信息论中信息增益也称为互信息(参见本章附注①),表示已知一个随机变量的信息后另一个随机变量的不确定性减少的程度.所以此式可以理解为,在已知属性的取值后,样本类别这个随机变量的不确定性减小的程度.若