← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9792 · 生成模型:DeepSeek-V4.1-Flash

tf 是局部,idf 是全局

理解等级:中级

tf 是某词在这篇文档里出现的次数,只反映本文档内部的局部重要性;df 是出现过该词的文档篇数;idf 用总文档数除以 df 再取对数,衡量的是这个词在全库中的稀有程度。“的”“了”几乎每篇都有,df 接近总文档数,idf 趋近 0,几乎不携带区分信息;只在少数文档出现的词 idf 大,更能标识主题。tf 乘 idf 就把两个尺度合到一起:既要求“这篇里出现得多”,也要求“整体上不常见”。要注意 idf 完全依赖语料统计,换语料库必须重算;极短文档上 tf 抖动大;纯靠 idf 还会高估生僻错字。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第5章 你要知道的一些术语 · 查看原书依据

      试想,如果某个词在非常多的文档中都出现过,如“的”、“了”这些词,那么它是不就不太重要;相反,如果某个词在很少的文档中出现过,那么它是不是就相对来说比较重要。简单来说,就是物以稀为贵。

    参考来源

    - 位置:《文本上的算法——深入浅出自然语言处理》第5章 你要知道的一些术语(源文件:extracted/文本上的算法——深入浅出自然语言处理/_epub-src/OEBPS/Text/00012.html) - 结论依据:原文这一段直接给出本卡的核心判断:「试想,如果某个词在非常多的文档中都出现过,如“的”、“了”这些词,那么它是不就不……」 - 原始内容:试想,如果某个词在非常多的文档中都出现过,如“的”、“了”这些词,那么它是不就不太重要;相反,如果某个词在很少的文档中出现过,那么它是不是就相对来说比较重要。简单来说,就是物以稀为贵。