知识卡片
熵族三个量各自的用途
联合熵 H(X,Y)=−ΣxΣy p(x,y)log2 p(x,y) 度量一对变量的总不确定性。条件熵 H(Y|X)=−ΣxΣy p(x,y)log2 p(y|x) 表示已知 X 之后 Y 还剩多少不确定性;两者由链式关系相连:H(X,Y)=H(X)+H(Y|X)。
互信息定义为 I(X;Y)=H(X)−H(X|Y)=H(X)+H(Y)−H(X,Y):知道 Y 之后 X 的不确定性减少了多少。
性质:I(X;Y)≥0 且对称;离散情形下 I=0 当且仅当 X 与 Y 独立。与协方差相比,互信息不局限于线性关系,能捕捉任意形式的依赖,代价是要估计联合分布、对样本量敏感,且取值多的变量互信息偏大。
用途:特征选择时挑与标签互信息高的特征;衡量词与词、词与类别的关联强度;也可比较两个划分(如聚类与真实标签)的一致程度。
对比记忆:[[信息熵:不确定性的比特数]] 讲单个变量的不确定性,这里讲两个变量如何相互削减不确定性;若要线性版本,见[[期望方差协方差各答什么]]。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第1章 概率统计与应用数学基础知识 · 查看原书依据
事件X、Y之间的互信息等于X的自信息减去Y条件下X的自信息,可表示为 互信息I(X;Y)是已知Y值后X不确定性的减少量。
参考来源
- 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第1章 概率统计与应用数学基础知识(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0023.html)
- 结论依据:原文给出联合熵、条件熵、自信息与互信息的定义,并明确互信息是“已知 Y 值后 X 不确定性的减少量”,支撑其作为不确定性削减量的解释。
- 原始内容:事件X、Y之间的互信息等于X的自信息减去Y条件下X的自信息,可表示为 互信息I(X;Y)是已知Y值后X不确定性的减少量。