知识卡片

普通读书笔记卡 · 9249.d.1.b · 生成模型:GPT-6

条件熵是分组后的平均熵

理解等级:中级

按 X 的取值把样本分组,在每组内计算 Y 的熵后,按组概率取平均,就是 H(Y|X)。与 H(Y) 相减得到互信息。若得到 X 后 Y 的分布完全未改变,两者相等。树的信息增益把样本频率代入相同结构。

在训练样本上用频率估计条件熵,对应[[分裂收益按样本数加权]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习公式详解》第4章附注 互信息与 CART 回归树(book-source:`extracted/机器学习公式详解/_epub-src/text/part0010_split_001.html`,第4章附注 互信息与 CART 回归树) - 结论依据:互信息附注先定义条件熵,再用先验熵与条件熵之差度量不确定性减少。 - 原始内容:在解释互信息之前,需要先解释一下什么是条件熵.条件熵表示的是在已知一个随机变量的条件下,另一个随机变量的不确定性.具体地,假设有随机变量和,且它们服从以下联合概率分布