原书出处
大数据日知录_架构与算法
16 机器学习:分布式算法
通过以上方式,即可对大规模文本集合计算其两两的相似性。实验表明,文档大小和计算时间基本呈线性增长关系,所以这是一种可扩展的计算方法。但是这种计算方式也有问题,在计算文档相似性的第二阶段MR任务的过程中,Map阶段输出存在组合爆炸问题,会产生大量的中间结果文件,从而占用了大量的磁盘空间,同时降低了计算效率。为了减少中间文件数量,可以采用DF-Cut的优化方法,即把某些停用词或者常用词(其DF值较高)进行过滤,这样可以极大地减少中间结果文件的大小及Reduce阶段的计算量,同时因为DF值大的单词往往意味着较少的信息含量,即使将其过滤,对于相似性计算结果也不会有很大影响。
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00021.html
EPUB SHA-256:e45b74c4bdd8959aef24f2a5183280eb73ec5f173108f8679a4bbf44bbd5b34d