知识卡片
逆文档频率取决于文档覆盖
设语料库有N篇文档,df(t)是至少包含词t的文档篇数,常见未平滑IDF为log(N/df(t))。一个词在一篇里出现很多次,df仍只加1;出现在所有文档时该式为0,较罕见的词通常更大。对数压缩数值跨度,整个语料库的边界和更新会改变词权重;df为0需由实现明确处理。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- · 查看原书依据
文档的总数除以语料库中包含该词的文本数量的商的对数。鉴于词频的得分是基于每个文档计算的,看到这些表的同时,请记住词的IDF分数是基于整个语料库计算的。IDF意在对整个语料库常见单词进行归一化,期望这样做会有效果。 表4-3:出现在“mr.green”和“the green plant”中词的样例逆文档频率得分
参考来源
- 位置:《社交网站的数据挖掘与分析(原书第2版)》第4章《4.3.2 逆文档频率》(spine86;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0075.html;u061-ch04-014)。
- 结论依据:原文在“文档的总数除以”附近的定义、例子或代码支撑本卡核心说明:设语料库有N篇文档,df(t)是至少包含词t的文档篇数,常见未平滑IDF为log(N/df(t))。边界按已读前提解释;示例未执行。
- 原始内容:文档的总数除以语料库中包含该词的文本数量的商的对数。鉴于词频的得分是基于每个文档计算的,看到这些表的同时,请记住词的IDF分数是基于整个语料库计算的。IDF意在对整个语料库常见单词进行归一化,期望这样做会有效果。 表4-3:出现在“mr.green”和“the green plant”中词的样例逆文档频率得分