知识卡片

普通读书笔记卡 · 6264.a

归一化词频要说明分母

理解等级:中级

归一化TF可用某词在文档中的次数除以文档总词数,因而2/19略小于1/9:出现两次的长文档不一定比出现一次的短文档权重高。分母是按同一切词规则得到的词次,不是互异词数;空文档需另作约定,不能除以零。原始次数与归一化版本是两种口径。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • · 查看原书依据

      1/9)将会略高于corpus['a'](2/19),因为corpus['b']的长度相对较短。计算“Mr.Green”这类复合查询得分的常用技术是将文档中每个查询词的词频相加,返回按总体词频得分排序的文档。 上一段其实很好理解,例如,查询语料库每个文档中的“Mr.Green”会得到表4-1所示的归一化得分。 表4-1:“Mr.Green”的样本词频得分 对

    参考来源

    - 位置:《社交网站的数据挖掘与分析(原书第2版)》第4章《4.3.1 词频》(spine86;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0075.html;u060-ch04-012)。 - 结论依据:原文在“1/9”附近的定义、例子或代码支撑本卡核心说明:归一化TF可用某词在文档中的次数除以文档总词数,因而2/19略小于1/9:出现两次的长文档不一定比出现一次的短文档权重高。边界按已读前提解释;示例未执行。 - 原始内容:1/9)将会略高于corpus['a'](2/19),因为corpus['b']的长度相对较短。计算“Mr.Green”这类复合查询得分的常用技术是将文档中每个查询词的词频相加,返回按总体词频得分排序的文档。 上一段其实很好理解,例如,查询语料库每个文档中的“Mr.Green”会得到表4-1所示的归一化得分。 表4-1:“Mr.Green”的样本词频得分 对