原书出处
数据科学与大数据分析 数据的发现 分析 可视化与表示
09 第9章 高级分析理论与方法:文本分析
对长尾分布取对数,以获得更多数据细节。类似地,对数也可以应用到那些含有长尾的词频分布中,如公式9.2所示。 (9.2)
因为文档越长包含的词语就越多,它们往往有更高的词频值。它们还往往包括更多不同的词语。这些因素似乎共同导致了长文档的词频值的提升,以至于人们对长文档产生了偏见。
为了解决这个问题,可以对词频进行规范化。例如,文档d中的词语t的词频可以基于d中词的数量来规范化,如公式9.3所示。 (
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0019_split_005.html
EPUB SHA-256:e4a4df0364edbfdf609c07ab4449f2148ede4291cdfba8b2a6ffdc51e7b6c9b7