知识卡片
归一化词频要说明分母
归一化TF可用某词在文档中的次数除以文档总词数,因而2/19略小于1/9:出现两次的长文档不一定比出现一次的短文档权重高。分母是按同一切词规则得到的词次,不是互异词数;空文档需另作约定,不能除以零。原始次数与归一化版本是两种口径。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- · 查看原书依据
1/9)将会略高于corpus['a'](2/19),因为corpus['b']的长度相对较短。计算“Mr.Green”这类复合查询得分的常用技术是将文档中每个查询词的词频相加,返回按总体词频得分排序的文档。 上一段其实很好理解,例如,查询语料库每个文档中的“Mr.Green”会得到表4-1所示的归一化得分。 表4-1:“Mr.Green”的样本词频得分 对
参考来源
- 位置:《社交网站的数据挖掘与分析(原书第2版)》第4章《4.3.1 词频》(spine86;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0075.html;u060-ch04-012)。
- 结论依据:原文在“1/9”附近的定义、例子或代码支撑本卡核心说明:归一化TF可用某词在文档中的次数除以文档总词数,因而2/19略小于1/9:出现两次的长文档不一定比出现一次的短文档权重高。边界按已读前提解释;示例未执行。
- 原始内容:1/9)将会略高于corpus['a'](2/19),因为corpus['b']的长度相对较短。计算“Mr.Green”这类复合查询得分的常用技术是将文档中每个查询词的词频相加,返回按总体词频得分排序的文档。 上一段其实很好理解,例如,查询语料库每个文档中的“Mr.Green”会得到表4-1所示的归一化得分。 表4-1:“Mr.Green”的样本词频得分 对