知识卡片
高频词剪枝须评估精度
含m个文档的词会产生m(m−1)/2对贡献,少数高DF词可能造成中间结果组合爆炸。DF-Cut先过滤高频词减少Shuffle和磁盘,却改变原始相似度计算。原图过滤B会使部分非零文档对变零,因此“信息少”不等于无影响,应根据检索或聚类目标评估剪枝阈值与质量损失。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 机器学习:分布式算法 · 查看原书依据
通过以上方式,即可对大规模文本集合计算其两两的相似性。实验表明,文档大小和计算时间基本呈线性增长关系,所以这是一种可扩展的计算方法。但是这种计算方式也有问题,在计算文档相似性的第二阶段MR任务的过程中,Map阶段输出存在组合爆炸问题,会产生大量的中间结果文件,从而占用了大量的磁盘空间,同时降低了计算效率。为了减少中间文件数量,可以采用DF-Cut的优化方法,即把某些停用词或者常用词(其DF值较高)进行过滤,这样可以极大地减少中间结果文件的大小及Reduce阶段的计算量,同时因为DF值大的单词往往意味着较少的信息含量,即使将其过滤,对于相似性计算结果也不会有很大影响。
参考来源
- 位置:《大数据日知录:架构与算法》第16章《机器学习:分布式算法》,原文段落118,OEBPS/text00021.html。
- 结论依据:原书给出的机制、公式或算法与其适用范围;实验百分比和2014年系统状态不当作当前普遍保证。
- 原始内容:通过以上方式,即可对大规模文本集合计算其两两的相似性。实验表明,文档大小和计算时间基本呈线性增长关系,所以这是一种可扩展的计算方法。但是这种计算方式也有问题,在计算文档相似性的第二阶段MR任务的过程中,Map阶段输出存在组合爆炸问题,会产生大量的中间结果文件,从而占用了大量的磁盘空间,同时降低了计算效率。为了减少中间文件数量,可以采用DF-Cut的优化方法,即把某些停用词或者常用词(其DF值较高)进行过滤,这样可以极大地减少中间结果文件的大小及Reduce阶段的计算量,同时因为DF值大的单词往往意味着较少的信息含量,即使将其过滤,对于相似性计算结果也不会有很大影响。