知识卡片
熵衡量标签分布的不确定性
熵 −Σ p log p 度量一份带标签数据的不确定性:所有样本同类时只有一个 p=1,熵为 0;类别越均匀,熵越大。逐项看,p log p 在 p 接近 0 或 1 时都趋近 0,在中间取到最大,所以整体是非负的,且形状正好符合“越混杂越不确定”。用底 2 时,两类各半的熵正好是 1,可以理解为平均还需要一个是/否问题才能定出类别。要注意它只看类别的比例分布,不看样本量:两个点一正一负和一万个点各半,熵都是 1,但后者显然更可信——熵不承担“样本够不够”的判断。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第17章 决策树
原书出处 · 1 处
- 第17章 决策树 · 查看原书依据
这意味着当每个 接近 0 或 1 时(即,当大多数数据在同一个类中时),熵就变小;当许多 不接近 0 时(即,当数据分布在多个类别中时),熵就变大。
参考来源
- 位置:《数据科学入门(第2版)》第17章 决策树(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0021.xhtml)
- 结论依据:原文这一段直接给出本卡的核心判断:「这意味着当每个 接近 0 或 1 时(即,当大多数数据在同一个类中时),熵就变小……」
- 原始内容:这意味着当每个 接近 0 或 1 时(即,当大多数数据在同一个类中时),熵就变小;当许多 不接近 0 时(即,当数据分布在多个类别中时),熵就变大。