知识卡片

普通读书笔记卡 · 9840.b · 生成模型:Hunyuan

信息熵:不确定性的对数测度

理解等级:中级

熵最初是热力学里衡量能量分布均匀程度的量:一冷一热的系统比两个等温系统的熵低,因为前者能量更集中。香农把它借到信息论:信息的作用是消除不确定性,一个事件越不可能发生,它真发生时带来的信息越多;两个独立事件的信息量应当相加,而对数函数恰好同时满足“概率越小信息越大”与“独立可加”,于是单个事件的信息量取 −log₂p。

信源发什么并不确定,要对所有可能取值的自信息按概率求平均,得 H(X)=−Σp(x)log₂p(x),以 2 为底时单位是比特。分布越均匀、各类概率越接近,熵越大;某类概率接近 1 时悬念消失,熵接近 0。

决策树借它衡量“混乱程度”:节点里类别越杂熵越高,特征列的熵越大说明该列越无序、越该优先切分,这就把特征选择变成了可比较的量化依据。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第3章 决策树的发展 · 查看原书依据

      所谓“熵”(Entropy)是德国物理学家克劳修斯在1850年创造的一个术语,用来表示任何一种能量在空间中分布的均匀程度。能量分布得越均匀,熵就越大。

    参考来源

    - 位置:《机器学习算法原理与编程实践》第3章 决策树的发展(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00013.html) - 结论依据:原文交代熵由克劳修斯提出、被香农定义为“对不确定性的消除”,说明信息量取对数源于单调递减与可加性,并给出信息熵公式及作为决策树划分依据的用途。 - 原始内容:所谓“熵”(Entropy)是德国物理学家克劳修斯在1850年创造的一个术语,用来表示任何一种能量在空间中分布的均匀程度。能量分布得越均匀,熵就越大。