知识卡片

普通读书笔记卡 · 9444.d · 生成模型:Tencent Hunyuan Hy

信息熵衡量不确定性

理解等级:初级

信息熵是信息论中描述混乱程度(也叫纯度)的指标:系统越有序,熵越低;越混乱,熵越高。直观理解,熵就是“了解一件事情所需要的信息量”——结果越容易预测,需要的信息越少,熵越小;结果越难猜,熵越大。书中的硬币例子很清晰:松手后硬币必然落地,结果确定,熵为0;匀质硬币抛出后正反各50%,最难判断,熵为1。用途上,熵给我们一把尺子,量化“不确定性有多大”,这是ID3算法衡量特征纯度的基石。边界在于:熵只度量取值分布的不确定性,不涉及取值本身的含义或代价;不同领域对“混乱”的定义不同,套用时要先明确随机变量是什么。反例是用熵去评价一个确定事件的“风险”,得到0会让人误以为没有风险。可迁移启发是:沟通中若对方信息熵高(说法含糊、可能性多),先提供能减少不确定性的关键事实,比重复阐述更有效。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《产品经理进阶:100个案例搞懂人工智能 (林中翘)》第5章《最容易理解的分类算法:决策树》(源文件:`../../book-sources/extracted/产品经理进阶:100个案例搞懂人工智能 (林中翘)/_epub-src/OEBPS/text00010.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292) - 结论依据:原文用“硬币落地熵为0、匀质硬币正反各半熵为1”的对比,并给出“一个系统越是有序,信息熵越低;反之,一个系统越是混乱,信息熵越高”的定义,支撑本卡把熵解释为不确定性的度量。 - 原始内容:因此,可以把“熵”简单地理解为:了解一件事情所需要的信息量。同时信息熵是信息论中描述混乱度(有些书籍中称为纯度)的概念。一个系统越是有序,信息熵越低;反之,一个系统越是混乱,信息熵越高。