知识卡片

普通读书笔记卡 · 6264

词项权重结合局部与全局

理解等级:中级

TF-IDF把词在某文档中的TF与它在语料库中的IDF相乘:局部频率提供文档内证据,全局分布调整其区分能力。它是词项权重,不是天然的0到1概率,也不直接理解句意;具体值取决于切词、TF归一化和IDF变体,需与检索评分方法一起说明。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • · 查看原书依据

      tf_idf=tf*idf,tf表示一个词语在具体文档中的重要性,idf表示一个词语在整个语料库中的重要性。将这两项相乘得到可以同时说明这两个因素的得分,并且在某些方面成为了每个主流搜索引擎不可缺少的一部分。为了更直观的了解TF-IDF是如何工作的,让我们来看看计算总分时涉及的所有运算。

    参考来源

    - 位置:《社交网站的数据挖掘与分析(原书第2版)》第4章《4.3 TF-IDF简介》(spine86;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0075.html;u059-ch04-011)。 - 结论依据:原文在“tf_idf=tf*idf”附近的定义、例子或代码支撑本卡核心说明:TF-IDF把词在某文档中的TF与它在语料库中的IDF相乘:局部频率提供文档内证据,全局分布调整其区分能力。边界按已读前提解释;示例未执行。 - 原始内容:tf_idf=tf*idf,tf表示一个词语在具体文档中的重要性,idf表示一个词语在整个语料库中的重要性。将这两项相乘得到可以同时说明这两个因素的得分,并且在某些方面成为了每个主流搜索引擎不可缺少的一部分。为了更直观的了解TF-IDF是如何工作的,让我们来看看计算总分时涉及的所有运算。