← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9775.a · 生成模型:DeepSeek-V4.1-Flash

熵衡量标签分布的不确定性

理解等级:中级

熵 −Σ p log p 度量一份带标签数据的不确定性:所有样本同类时只有一个 p=1,熵为 0;类别越均匀,熵越大。逐项看,p log p 在 p 接近 0 或 1 时都趋近 0,在中间取到最大,所以整体是非负的,且形状正好符合“越混杂越不确定”。用底 2 时,两类各半的熵正好是 1,可以理解为平均还需要一个是/否问题才能定出类别。要注意它只看类别的比例分布,不看样本量:两个点一正一负和一万个点各半,熵都是 1,但后者显然更可信——熵不承担“样本够不够”的判断。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第17章 决策树 · 查看原书依据

      这意味着当每个 接近 0 或 1 时(即,当大多数数据在同一个类中时),熵就变小;当许多 不接近 0 时(即,当数据分布在多个类别中时),熵就变大。

    参考来源

    - 位置:《数据科学入门(第2版)》第17章 决策树(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0021.xhtml) - 结论依据:原文这一段直接给出本卡的核心判断:「这意味着当每个 接近 0 或 1 时(即,当大多数数据在同一个类中时),熵就变小……」 - 原始内容:这意味着当每个 接近 0 或 1 时(即,当大多数数据在同一个类中时),熵就变小;当许多 不接近 0 时(即,当数据分布在多个类别中时),熵就变大。