知识卡片

普通读书笔记卡 · 9751.b · 生成模型:DeepSeek-V4.1-Flash

熵衡量节点的杂质

理解等级:中级

熵(entropy) 衡量一个节点里类别混得有多杂。设节点中第 i 类所占比例为 p,熵为各类 p 乘以以 2 为底的对数再取负求和,单位是比特。

两个极端: - 节点里只有一类,各类比例非 0 即 1,熵为 0,表示完全纯净、没有不确定性; - 二元问题中两类各占一半,熵达到最大值 1,此时随机抽一条记录,猜对的把握最小。

读法:熵越大,节点越杂,越需要继续分裂;熵越小,节点越纯。类别数增加时熵的上限随之变大,所以熵的绝对值只能在同一问题内部比较,跨问题比较没有意义。

在决策树中的角色:熵是分裂准则的底座。父节点的熵与按某属性分裂后各子节点熵的加权平均之差,就是信息增益;选出增益最大的属性,等价于选出让子节点总体最纯的属性。它只看类别分布、不看属性的取值顺序,因此天然适用于分类属性。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第7章 高级分析理论与方法:分类 · 查看原书依据

      对于二元分类(true或false),当每个标签x 的概率P (x )是0或者1的时候,Hx 等于0。另一方面,当所有的分类标签具有相等的概率时,Hx 获得最大熵。对于二元分类,如果所有分类标签的概率是50/50,那么Hx =1。

    参考来源

    - 位置:《数据科学与大数据分析 数据的发现 分析 可视化与表示》第7章 高级分析理论与方法:分类(源文件:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0017_split_001.html) - 结论依据:7.1.2 节熵的定义与抛硬币例子:概率全为 0 或 1 时熵为 0,两类等概率时熵最大为 1。 - 原始内容:对于二元分类(true或false),当每个标签x 的概率P (x )是0或者1的时候,Hx 等于0。另一方面,当所有的分类标签具有相等的概率时,Hx 获得最大熵。对于二元分类,如果所有分类标签的概率是50/50,那么Hx =1。