知识卡片

普通读书笔记卡 · 9753.k · 生成模型:DeepSeek-V4.1-Flash

TFIDF的合成与边界

理解等级:高级

TFIDF 把两个视角相乘:词在本文档中的词频,乘以它在整个语料库中的逆文档频率。得分高意味着“这篇文档里常出现、别的文档里少出现”,也就是既相关又有区分度。同一个词在不同文档中得分不同,因为 TF 不同。

为什么这样设计:TF 回答“这篇在讲什么”,IDF 回答“这个词能不能把这篇和其他篇分开”。单用任何一个都会偏:只看 TF 会选中停用词与领域通用词,只看 IDF 会给所有罕见词(包括拼写错误、噪声)高分。相乘相当于要求两个条件同时成立。

优点:不需要任何语义知识,纯计数即可;计算简单、可解释;文档增删时只需更新计数,适合动态内容和检索排序。

失效场景: - 同义词与多义词无法处理,bPhone 与“手机”在向量里毫不相干。 - 否定与语序丢失,not good 与 good 共享 good 的高权重。 - 短文本 TF 极稀疏,权重不稳定;IDF 依赖语料范围,跨语料不可比。 - 只能给出词级线性权重,揭示不了文档内与文档间的统计结构,这正是主题模型要补的位置。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据科学与大数据分析 数据的发现 分析 可视化与表示》第9章 高级分析理论与方法:文本分析(源文件:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0019_split_005.html) - 结论依据:9.5 节末给出 TFIDF 为词频乘逆文档频率、同词在不同文档得分不同,并明确指出它难以揭示文档内外的统计结构。 - 原始内容:TFIDF在简单和直接的计算中是很有效的,因为它不需要文本含义的相关知识。但是这个方法也很难揭示文档间或文档内的统计结构。下一节中将介绍主题模型是如何解决这个TFIDF的不足的。