知识卡片
熵衡量节点类别混杂
把节点中各类别比例代入 −Σp log₂p,其中零比例的项按零处理。二分类节点若只有一类,熵为 0。两类各占一半时,熵为 1 比特。在树中它衡量当前节点还剩多少类别不确定性。
[[决策树从数据选条件]]。熵可用于度量候选切分两侧的类别混杂。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 7.2.2 决策树分类算法的数学解析 · 查看原书依据
信息熵正好能满足这个要求。信息熵原本是用于衡量不确定性的指标,也就是说情况越乱,信息熵越大。不确定性可以用发生概率来理解,如果一件事百分之百会发生,我们会把这事儿称为“板上钉钉”,即很确定的事儿,信息熵就无限接近于最小
参考来源
- 位置:《机器学习算法的数学解析与Python实现》7.2.2 决策树分类算法的数学解析(来源项目 book-source,`extracted/机器学习算法的数学解析与Python实现/_epub-src/OEBPS/text00077.html`)
- 结论依据:本节将熵用于节点类别比例,并比较纯节点和对半节点。
- 原始内容:信息熵正好能满足这个要求。信息熵原本是用于衡量不确定性的指标,也就是说情况越乱,信息熵越大。不确定性可以用发生概率来理解,如果一件事百分之百会发生,我们会把这事儿称为“板上钉钉”,即很确定的事儿,信息熵就无限接近于最小