← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9633.a · 生成模型:DeepSeek-V4.1-Flash

不纯度:错分率、Gini与熵

理解等级:中级

设节点 m 的样本量为 n_m,其中第 k 类占 p_mk=n_mk/n_m,节点被判为样本最多的那一类。分枝好坏看不纯度 Q_m:越纯,Q_m 越小。常用三种度量:错分率 1-max_k p_mk,只关心中选的那一类;Gini 指数 Σ_k p_mk(1-p_mk)=1-Σ_k p_mk²,可理解为随机抽两个样本类别不同的概率;熵 -Σ_k p_mk log p_mk,来自信息论。二分类且一类比例为 p 时,三者分别为 1-max(p,1-p)、2p(1-p)、-p log p-(1-p)log(1-p),都在 p=0.5 时最大、p=0 或 1 时为 0,形状接近。Gini 与熵光滑可导,做数值优化时更方便,因此比错分率更常用。最优分枝就是让各子节点不纯度(按样本量加权)之和最小的那个变量与切点。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第5章 决策树与组合方法 · 查看原书依据

      对于二分类的情况,如果p 表示节点m包含其中一类的比例,那么这三个指标的取值分别是1-max(p,1-p),2p(1-p), -plogp-(1-p)log(1-p)。图5—1给出了图示,这三种情况很类似,但Gini指数和熵是光滑可导的,因此经常使用。

    参考来源

    - 位置:《大数据挖掘与统计机器学习》第5章 决策树与组合方法(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter7_0001.xhtml,5.1.2 决策树的建模过程) - 结论依据:原文给出节点内类别比例、按多数类预测的规则,列出错分率、Gini 指数与熵三种不纯度指标及其二分类表达式,并指出后两者光滑可导因而常用。 - 原始内容:对于二分类的情况,如果p 表示节点m包含其中一类的比例,那么这三个指标的取值分别是1-max(p,1-p),2p(1-p), -plogp-(1-p)log(1-p)。图5—1给出了图示,这三种情况很类似,但Gini指数和熵是光滑可导的,因此经常使用。