知识卡片
熵衡量节点的杂质
熵(entropy) 衡量一个节点里类别混得有多杂。设节点中第 i 类所占比例为 p,熵为各类 p 乘以以 2 为底的对数再取负求和,单位是比特。
两个极端: - 节点里只有一类,各类比例非 0 即 1,熵为 0,表示完全纯净、没有不确定性; - 二元问题中两类各占一半,熵达到最大值 1,此时随机抽一条记录,猜对的把握最小。
读法:熵越大,节点越杂,越需要继续分裂;熵越小,节点越纯。类别数增加时熵的上限随之变大,所以熵的绝对值只能在同一问题内部比较,跨问题比较没有意义。
在决策树中的角色:熵是分裂准则的底座。父节点的熵与按某属性分裂后各子节点熵的加权平均之差,就是信息增益;选出增益最大的属性,等价于选出让子节点总体最纯的属性。它只看类别分布、不看属性的取值顺序,因此天然适用于分类属性。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第7章 高级分析理论与方法:分类 · 查看原书依据
对于二元分类(true或false),当每个标签x 的概率P (x )是0或者1的时候,Hx 等于0。另一方面,当所有的分类标签具有相等的概率时,Hx 获得最大熵。对于二元分类,如果所有分类标签的概率是50/50,那么Hx =1。
参考来源
- 位置:《数据科学与大数据分析 数据的发现 分析 可视化与表示》第7章 高级分析理论与方法:分类(源文件:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0017_split_001.html)
- 结论依据:7.1.2 节熵的定义与抛硬币例子:概率全为 0 或 1 时熵为 0,两类等概率时熵最大为 1。
- 原始内容:对于二元分类(true或false),当每个标签x 的概率P (x )是0或者1的时候,Hx 等于0。另一方面,当所有的分类标签具有相等的概率时,Hx 获得最大熵。对于二元分类,如果所有分类标签的概率是50/50,那么Hx =1。