原书出处
数据科学与大数据分析 数据的发现 分析 可视化与表示
09 第9章 高级分析理论与方法:文本分析
played和playing这类词可以被映射到同一个词。 词频的定义表明词频是基于一个词在独立文档中出现次数的原始计数。
词频本身存在一个关键问题:那就是单个文档就是全世界。一个词的重要性完全是基于它存在的那个特定文档。停止词,例如the、and和a,不应该被当做最重要的词,因为它们在每个文档中都有最高的词频。
例如,在莎士比亚的《哈姆雷特》中,频率最高的三个词都是停止词(the、and和of,如图9.2所示)。除了停止词,那些有
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0019_split_005.html
EPUB SHA-256:e4a4df0364edbfdf609c07ab4449f2148ede4291cdfba8b2a6ffdc51e7b6c9b7