知识卡片
互信息高分可能来自稀有词对
PMI把实际共同出现概率与独立时两者边缘概率乘积作比较,通常取对数,衡量特定词对相对独立基线的关联。稀有词偶然共同出现可有很高比值,因此需结合最小频数和样本稳定性检查;这不等于PMI只适合“独立而非相关”,它本来就衡量对独立性的偏离,也不是两个变量整体互信息的同义名称。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- · 查看原书依据
逐点互信息 当你知道一个单词的相邻单词的值时,我们可以使用逐点互信息(Pointwise Mutual Information,PMI)来测量从这个单词获得了多少信息。换句话说,就是你从一个单词中可以得到另外一个单词的多少信息。具有讽刺意味的是,涉及PMI的计算使得高频词汇的分数反而低于低频词汇,这正好与我们想要的效果相反。因此,这是测量独立性而不是相关性的
参考来源
- 位置:《社交网站的数据挖掘与分析(原书第2版)》第4章《4.4.4 分析人类语言中的二元文法》(spine87;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0076.html;u067-ch04-042)。
- 结论依据:原文在“逐点互信息”附近的定义、例子或代码支撑本卡核心说明:PMI把实际共同出现概率与独立时两者边缘概率乘积作比较,通常取对数,衡量特定词对相对独立基线的关联。边界按已读前提解释;示例未执行。
- 原始内容:逐点互信息 当你知道一个单词的相邻单词的值时,我们可以使用逐点互信息(Pointwise Mutual Information,PMI)来测量从这个单词获得了多少信息。换句话说,就是你从一个单词中可以得到另外一个单词的多少信息。具有讽刺意味的是,涉及PMI的计算使得高频词汇的分数反而低于低频词汇,这正好与我们想要的效果相反。因此,这是测量独立性而不是相关性的