知识卡片
词频的三种口径
词频(TF)看似只是数数,实际有三种常用口径:
| 口径 | 形式 | 解决的问题 | | 原始计数 | 词在文档中的出现次数 | 直观、可加 | | 对数 | 对计数取对数 | 压缩长尾,避免高频词吞掉差异 | | 长度归一化 | 计数除以文档词数 | 抵消长文档天然占优 |
为什么需要后两种:文档越长,词的总数和不同词的数量都越多,原始计数会系统性抬高长文档的权重,形成对长文档的偏好。词频分布近似服从齐普夫定律——第 i 位高频词的频次约为最高频词的 1/i——头部极高、尾部极长,取对数能把注意力从头部挪到中段。
存储上的配套:只保留至少出现过一次的词及其计数,其余默认取零,向量因此是稀疏的,示例中 10 维向量只留 4 个非零项。
边界:归一化会让短文档里的少量词被放大,噪声文档影响变大;取对数破坏了计数的线性可加性。选哪种口径取决于数据与任务,没有普适最优。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第9章 高级分析理论与方法:文本分析 · 查看原书依据
因为文档越长包含的词语就越多,它们往往有更高的词频值。它们还往往包括更多不同的词语。这些因素似乎共同导致了长文档的词频值的提升,以至于人们对长文档产生了偏见。
参考来源
- 位置:《数据科学与大数据分析 数据的发现 分析 可视化与表示》第9章 高级分析理论与方法:文本分析(源文件:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0019_split_005.html)
- 结论依据:9.5 节给出公式 9.1 到 9.3 对应的原始计数、取对数、按文档词数规范化三种定义,并说明长文档偏置与齐普夫定律。
- 原始内容:因为文档越长包含的词语就越多,它们往往有更高的词频值。它们还往往包括更多不同的词语。这些因素似乎共同导致了长文档的词频值的提升,以至于人们对长文档产生了偏见。