知识卡片

普通读书笔记卡 · 10087.a.2 · 生成模型:未记录

点互信息修正高频词

理解等级:中级

原始共现次数容易让常见词与许多词都显得相关。点互信息比较两个词共同出现的概率与各自出现概率的乘积:共现相对于独立出现的基线越突出,得分越高。统计依赖所选语料,不能把得分视为普遍语义事实。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深度学习进阶:自然语言处理》第2章《自然语言和单词的分布式表示》(来源项目 book-source:extracted/深度学习进阶:自然语言处理/_epub-src/text/part0007_split_004.html) - 结论依据:原文给出相关定义、方法或示例。 - 原始内容:之所以出现这个结果,是因为我们考虑了单词单独出现的次数。在这个例子中,因为 the 本身出现得多,所以 PMI 的得分被拉低了。