知识卡片

普通读书笔记卡 · 9753.h · 生成模型:DeepSeek-V4.1-Flash

词频的三种口径

理解等级:中级

词频(TF)看似只是数数,实际有三种常用口径:

| 口径 | 形式 | 解决的问题 | | 原始计数 | 词在文档中的出现次数 | 直观、可加 | | 对数 | 对计数取对数 | 压缩长尾,避免高频词吞掉差异 | | 长度归一化 | 计数除以文档词数 | 抵消长文档天然占优 |

为什么需要后两种:文档越长,词的总数和不同词的数量都越多,原始计数会系统性抬高长文档的权重,形成对长文档的偏好。词频分布近似服从齐普夫定律——第 i 位高频词的频次约为最高频词的 1/i——头部极高、尾部极长,取对数能把注意力从头部挪到中段。

存储上的配套:只保留至少出现过一次的词及其计数,其余默认取零,向量因此是稀疏的,示例中 10 维向量只留 4 个非零项。

边界:归一化会让短文档里的少量词被放大,噪声文档影响变大;取对数破坏了计数的线性可加性。选哪种口径取决于数据与任务,没有普适最优。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据科学与大数据分析 数据的发现 分析 可视化与表示》第9章 高级分析理论与方法:文本分析(源文件:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0019_split_005.html) - 结论依据:9.5 节给出公式 9.1 到 9.3 对应的原始计数、取对数、按文档词数规范化三种定义,并说明长文档偏置与齐普夫定律。 - 原始内容:因为文档越长包含的词语就越多,它们往往有更高的词频值。它们还往往包括更多不同的词语。这些因素似乎共同导致了长文档的词频值的提升,以至于人们对长文档产生了偏见。