知识卡片

普通读书笔记卡 · 9775.b · 生成模型:DeepSeek-V4.1-Flash

按划分熵而非准确率选问题

理解等级:高级

选问题不能只看“分完之后哪边更纯”,因为一次提问会产生多个子集,需要把各子集的熵按样本比例加权求和,得到划分熵。加权是核心:只把一小撮样本分得很纯、其余一大团仍然混乱,加权后整体熵几乎不降。书中的反例是“印在澳元 5 分硬币上”这个问题:它切出的一个子集只有针鼹、熵为 0,但另一个子集又大又乱,因此整体是坏划分。用准确率式的“某边纯不纯”来打分,恰好会被这种看似聪明的划分骗过,所以 ID3 选的是加权划分熵最小的属性。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第17章 决策树 · 查看原书依据

      相应地,我们希望通过某种方法对数据集的分割效果来表示熵。如果划分后得到熵较低(即高确定性)的子集,则称此划分方式的熵较低;如果划分后得到(数量很多并且)熵较高(即高不确定性)的子集,则称此划分方式的熵较高。

    参考来源

    - 位置:《数据科学入门(第2版)》第17章 决策树(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0021.xhtml) - 结论依据:原文这一段直接给出本卡的核心判断:「相应地,我们希望通过某种方法对数据集的分割效果来表示熵……」 - 原始内容:相应地,我们希望通过某种方法对数据集的分割效果来表示熵。如果划分后得到熵较低(即高确定性)的子集,则称此划分方式的熵较低;如果划分后得到(数量很多并且)熵较高(即高不确定性)的子集,则称此划分方式的熵较高。