知识卡片
信息熵是平均惊讶度
结果发生概率 p 的信息量为 −log p。按各结果自身概率加权得到熵 −Σp log p。使用底 2 时单位是比特,公平硬币的熵为 1,必然事件的熵为 0。树模型可用标签熵衡量当前节点的混杂程度。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 搞懂算法:决策树是怎么回事 · 查看原书依据
那么信息熵就是最终结果出来之前所有可能结果的信息量的期望值。
参考来源
- 位置:《从零开始:机器学习的数学原理和算法实践》第9章《搞懂算法:决策树是怎么回事》(来源项目 book-source:extracted/从零开始:机器学习的数学原理和算法实践/_epub-src/OEBPS/Text/chapter009.xhtml)
- 结论依据:原文经等概率和非等概率的信息量引出标签分布的信息熵。
- 原始内容:那么信息熵就是最终结果出来之前所有可能结果的信息量的期望值。