知识卡片
点互信息修正高频词
原始共现次数容易让常见词与许多词都显得相关。点互信息比较两个词共同出现的概率与各自出现概率的乘积:共现相对于独立出现的基线越突出,得分越高。统计依赖所选语料,不能把得分视为普遍语义事实。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 自然语言和单词的分布式表示 · 查看原书依据
之所以出现这个结果,是因为我们考虑了单词单独出现的次数。在这个例子中,因为 the 本身出现得多,所以 PMI 的得分被拉低了。
参考来源
- 位置:《深度学习进阶:自然语言处理》第2章《自然语言和单词的分布式表示》(来源项目 book-source:extracted/深度学习进阶:自然语言处理/_epub-src/text/part0007_split_004.html)
- 结论依据:原文给出相关定义、方法或示例。
- 原始内容:之所以出现这个结果,是因为我们考虑了单词单独出现的次数。在这个例子中,因为 the 本身出现得多,所以 PMI 的得分被拉低了。