知识卡片
tf 是局部,idf 是全局
tf 是某词在这篇文档里出现的次数,只反映本文档内部的局部重要性;df 是出现过该词的文档篇数;idf 用总文档数除以 df 再取对数,衡量的是这个词在全库中的稀有程度。“的”“了”几乎每篇都有,df 接近总文档数,idf 趋近 0,几乎不携带区分信息;只在少数文档出现的词 idf 大,更能标识主题。tf 乘 idf 就把两个尺度合到一起:既要求“这篇里出现得多”,也要求“整体上不常见”。要注意 idf 完全依赖语料统计,换语料库必须重算;极短文档上 tf 抖动大;纯靠 idf 还会高估生僻错字。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第5章 你要知道的一些术语 · 查看原书依据
试想,如果某个词在非常多的文档中都出现过,如“的”、“了”这些词,那么它是不就不太重要;相反,如果某个词在很少的文档中出现过,那么它是不是就相对来说比较重要。简单来说,就是物以稀为贵。
参考来源
- 位置:《文本上的算法——深入浅出自然语言处理》第5章 你要知道的一些术语(源文件:extracted/文本上的算法——深入浅出自然语言处理/_epub-src/OEBPS/Text/00012.html)
- 结论依据:原文这一段直接给出本卡的核心判断:「试想,如果某个词在非常多的文档中都出现过,如“的”、“了”这些词,那么它是不就不……」
- 原始内容:试想,如果某个词在非常多的文档中都出现过,如“的”、“了”这些词,那么它是不就不太重要;相反,如果某个词在很少的文档中出现过,那么它是不是就相对来说比较重要。简单来说,就是物以稀为贵。