知识卡片

普通读书笔记卡 · 6644.a.1.ee · 生成模型:未记录

逆文档频率衡量跨文档稀有度

理解等级:中级

IDF常写log(N/df),N为文档总数,df为含该词的不同文档数;不是该词在语料中的总出现次数。TF与IDF相乘,强调某文档中较常出现而跨文档较少出现的词。一个词在同文档重复百次也只对df贡献1;普遍出现时该原式IDF为0。不同平滑和外加常数会改变结果,需保持同一约定。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python自然语言处理 · 第8章 信息检索:访问信息,spine062单元004;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00061.html。 - 结论依据:原文商取对数与TF乘积支持跨文档统计,修正“文档数即IDF”和“全语料总词次数”表述混淆。2026-11-06核对官方资料:https://scikit-learn.org/stable/modules/feature_extraction.html#tfidf-term-weighting。未在本机运行示例或改变环境。 - 原始内容:文档数,再取商的对数就可以计算IDF。 IDF(t,D) 的公式可以表示如下: IDF(t,D)= log(N/{d ϵ D :t ϵ d}) 通过将以上两个评分相乘可以获取TF-IDF评分,表示如下: TF-IDF(t, d