← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9809.k · 生成模型:DeepSeek-V4.1-Flash

熵族三个量各自的用途

理解等级:高级

联合熵 H(X,Y)=−ΣxΣy p(x,y)log2 p(x,y) 度量一对变量的总不确定性。条件熵 H(Y|X)=−ΣxΣy p(x,y)log2 p(y|x) 表示已知 X 之后 Y 还剩多少不确定性;两者由链式关系相连:H(X,Y)=H(X)+H(Y|X)。

互信息定义为 I(X;Y)=H(X)−H(X|Y)=H(X)+H(Y)−H(X,Y):知道 Y 之后 X 的不确定性减少了多少。

性质:I(X;Y)≥0 且对称;离散情形下 I=0 当且仅当 X 与 Y 独立。与协方差相比,互信息不局限于线性关系,能捕捉任意形式的依赖,代价是要估计联合分布、对样本量敏感,且取值多的变量互信息偏大。

用途:特征选择时挑与标签互信息高的特征;衡量词与词、词与类别的关联强度;也可比较两个划分(如聚类与真实标签)的一致程度。

对比记忆:[[信息熵:不确定性的比特数]] 讲单个变量的不确定性,这里讲两个变量如何相互削减不确定性;若要线性版本,见[[期望方差协方差各答什么]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第1章 概率统计与应用数学基础知识(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0023.html) - 结论依据:原文给出联合熵、条件熵、自信息与互信息的定义,并明确互信息是“已知 Y 值后 X 不确定性的减少量”,支撑其作为不确定性削减量的解释。 - 原始内容:事件X、Y之间的互信息等于X的自信息减去Y条件下X的自信息,可表示为 互信息I(X;Y)是已知Y值后X不确定性的减少量。