返回主题:批处理作业的写法:连接、聚合与作业抽象

知识卡片

操作参考卡 · 1776.i

两阶段合并局部TopK

理解等级:中级

在记录分数已经确定且排序规则一致时,各Map保留局部TopK,最终Reduce从候选并集中取全局TopK。并列时应统一比较和保留规则。若分数是需要跨分片累加的词频,必须先得到正确的全局计数,不能先按局部词频截断就声称保留全局热门词。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 大规模批处理系统 · 查看原书依据

      从大量数据中,根据记录某个字段内容的大小取出其值最大的k 个记录,这也是非常常见的数据过滤应用场景(不失一般性,这里以k =10作为例子)。这和简单过滤的差异是:简单过滤的条件判断只涉及当前记录,而Topk 计算模式则需要在记录之间进行比较,并获得全局最大的数据子集。

    参考来源

    - 位置:《大数据日知录:架构与算法》第11章《大规模批处理系统》,原文段落70(OEBPS/text00016.html)。 - 结论依据:本卡说明书中机制及其适用条件;出版时版本、目标数字与架构状态不作为当前普遍保证。 - 原始内容:从大量数据中,根据记录某个字段内容的大小取出其值最大的k 个记录,这也是非常常见的数据过滤应用场景(不失一般性,这里以k =10作为例子)。这和简单过滤的差异是:简单过滤的条件判断只涉及当前记录,而Topk 计算模式则需要在记录之间进行比较,并获得全局最大的数据子集。