知识卡片
条件熵是分组后的平均熵
按 X 的取值把样本分组,在每组内计算 Y 的熵后,按组概率取平均,就是 H(Y|X)。与 H(Y) 相减得到互信息。若得到 X 后 Y 的分布完全未改变,两者相等。树的信息增益把样本频率代入相同结构。
在训练样本上用频率估计条件熵,对应[[分裂收益按样本数加权]]。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第4章附注 互信息与 CART 回归树 · 查看原书依据
在解释互信息之前,需要先解释一下什么是条件熵.条件熵表示的是在已知一个随机变量的条件下,另一个随机变量的不确定性.具体地,假设有随机变量和,且它们服从以下联合概率分布
参考来源
- 位置:《机器学习公式详解》第4章附注 互信息与 CART 回归树(book-source:`extracted/机器学习公式详解/_epub-src/text/part0010_split_001.html`,第4章附注 互信息与 CART 回归树)
- 结论依据:互信息附注先定义条件熵,再用先验熵与条件熵之差度量不确定性减少。
- 原始内容:在解释互信息之前,需要先解释一下什么是条件熵.条件熵表示的是在已知一个随机变量的条件下,另一个随机变量的不确定性.具体地,假设有随机变量和,且它们服从以下联合概率分布