← 返回刚才阅读的位置

知识卡片

操作参考卡 · 1781.m

高频词剪枝须评估精度

理解等级:中级

含m个文档的词会产生m(m−1)/2对贡献,少数高DF词可能造成中间结果组合爆炸。DF-Cut先过滤高频词减少Shuffle和磁盘,却改变原始相似度计算。原图过滤B会使部分非零文档对变零,因此“信息少”不等于无影响,应根据检索或聚类目标评估剪枝阈值与质量损失。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 机器学习:分布式算法 · 查看原书依据

      通过以上方式,即可对大规模文本集合计算其两两的相似性。实验表明,文档大小和计算时间基本呈线性增长关系,所以这是一种可扩展的计算方法。但是这种计算方式也有问题,在计算文档相似性的第二阶段MR任务的过程中,Map阶段输出存在组合爆炸问题,会产生大量的中间结果文件,从而占用了大量的磁盘空间,同时降低了计算效率。为了减少中间文件数量,可以采用DF-Cut的优化方法,即把某些停用词或者常用词(其DF值较高)进行过滤,这样可以极大地减少中间结果文件的大小及Reduce阶段的计算量,同时因为DF值大的单词往往意味着较少的信息含量,即使将其过滤,对于相似性计算结果也不会有很大影响。

    参考来源

    - 位置:《大数据日知录:架构与算法》第16章《机器学习:分布式算法》,原文段落118,OEBPS/text00021.html。 - 结论依据:原书给出的机制、公式或算法与其适用范围;实验百分比和2014年系统状态不当作当前普遍保证。 - 原始内容:通过以上方式,即可对大规模文本集合计算其两两的相似性。实验表明,文档大小和计算时间基本呈线性增长关系,所以这是一种可扩展的计算方法。但是这种计算方式也有问题,在计算文档相似性的第二阶段MR任务的过程中,Map阶段输出存在组合爆炸问题,会产生大量的中间结果文件,从而占用了大量的磁盘空间,同时降低了计算效率。为了减少中间文件数量,可以采用DF-Cut的优化方法,即把某些停用词或者常用词(其DF值较高)进行过滤,这样可以极大地减少中间结果文件的大小及Reduce阶段的计算量,同时因为DF值大的单词往往意味着较少的信息含量,即使将其过滤,对于相似性计算结果也不会有很大影响。