知识卡片
IDF的构造与盲点
构造:先算文档频率 DF,即语料库中包含该词的文档数;再取 IDF 为文档总数 N 除以 DF 后的对数。若某词不在语料库中会让分母为零,实务上给分母加 1 平滑。对数底不影响词的排名,因为换底只是乘一个常数。
效果:在 1000 篇文档里,the 出现在全部文档中,IDF 为 0;bPhone 只出现在 10 篇里,IDF 约为 log 100。罕见词得高分,到处都有的词被压到零,而且不需要人工维护词表,语料换了就重算。
盲点一:同 DF 不可分。N 固定时 IDF 只是 DF 的单调函数,DF 相同的词得到完全相同的分数。布朗语料库里 sunbonnet 与 narcotic 出现在同样多的文档中,于是同分,可它们的实际重要性并不相同;要再区分,只能引入词频、位置、共现等额外权重。
盲点二:依赖语料边界。IDF 的值随语料库范围变化,跨语料不可直接比较;新词在语料中缺席时会被当成极罕见词,得到虚高的权重。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第9章 高级分析理论与方法:文本分析 · 查看原书依据
尽管IDF偏向那些更有意义的词,但也带有一个警告。因为语料库的所有文档数目(N)是保持恒定的,因此IDF仅仅取决于DF。所有的词都有一样的DF值,因此获得一样的IDF值。
参考来源
- 位置:《数据科学与大数据分析 数据的发现 分析 可视化与表示》第9章 高级分析理论与方法:文本分析(源文件:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0019_split_005.html)
- 结论依据:9.5 节给出 DF 与 IDF 的定义、分母加一的处理、对数底无关的说明,并用 sunbonnet 与 narcotic 指出 IDF 只取决于 DF 的警告。
- 原始内容:尽管IDF偏向那些更有意义的词,但也带有一个警告。因为语料库的所有文档数目(N)是保持恒定的,因此IDF仅仅取决于DF。所有的词都有一样的DF值,因此获得一样的IDF值。