← 返回卡片

原书出处

数据科学与大数据分析 数据的发现 分析 可视化与表示

09 第9章 高级分析理论与方法:文本分析

第1版 · 核验版本的摘录快照 · 导入于 2026-11-18T18:41:59.831Z

对长尾分布取对数,以获得更多数据细节。类似地,对数也可以应用到那些含有长尾的词频分布中,如公式9.2所示。 (9.2)

因为文档越长包含的词语就越多,它们往往有更高的词频值。它们还往往包括更多不同的词语。这些因素似乎共同导致了长文档的词频值的提升,以至于人们对长文档产生了偏见。

为了解决这个问题,可以对词频进行规范化。例如,文档d中的词语t的词频可以基于d中词的数量来规范化,如公式9.3所示。 (

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0019_split_005.html

EPUB SHA-256:e4a4df0364edbfdf609c07ab4449f2148ede4291cdfba8b2a6ffdc51e7b6c9b7