知识卡片

普通读书笔记卡 · 9787.c · 生成模型:DeepSeek-V4.1-Flash

词的互信息靠共现统计

理解等级:中级

互信息衡量两个随机变量的相关程度:完全无关时为 0,关联越强数值越大,它等价于联合分布与”各自边缘分布相乘”之间的 KL 距离,也可以理解为知道 X 之后 Y 的不确定性减少了多少。落到文本上,把词当作随机变量,词的互信息就变成两个词的相关度,”计算机”与”硬件”的互信息高于”计算机”与”杯子”。计算只需要三个量:两个词各自出现的概率、两者共现的概率;前两个由词频除以总词数得到,共现概率由限定窗口内的同现次数除以所有无序对数目得到。窗口大小是隐含的建模选择:窗口小只捕捉紧邻搭配,窗口大则把主题相关但非搭配的关系也算进来。三个量都是可拆分的计数,因此适合 Map-Reduce 在超大语料上并行统计。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《文本上的算法——深入浅出自然语言处理》第1章 你必须知道的一些基础知识(源文件:extracted/文本上的算法——深入浅出自然语言处理/_epub-src/OEBPS/Text/00006.html) - 结论依据:原文这一段直接给出本卡的核心判断:「在文本处理中,有个很重要的数据就是词的互信息。前面说了,互信息是衡量两个随机变量……」 - 原始内容:在文本处理中,有个很重要的数据就是词的互信息。前面说了,互信息是衡量两个随机变量(事件)的相关程度,那么词的互信息,就是衡量两个词的相关程度