知识卡片
两阶段合并局部TopK
在记录分数已经确定且排序规则一致时,各Map保留局部TopK,最终Reduce从候选并集中取全局TopK。并列时应统一比较和保留规则。若分数是需要跨分片累加的词频,必须先得到正确的全局计数,不能先按局部词频截断就声称保留全局热门词。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 大规模批处理系统 · 查看原书依据
从大量数据中,根据记录某个字段内容的大小取出其值最大的k 个记录,这也是非常常见的数据过滤应用场景(不失一般性,这里以k =10作为例子)。这和简单过滤的差异是:简单过滤的条件判断只涉及当前记录,而Topk 计算模式则需要在记录之间进行比较,并获得全局最大的数据子集。
参考来源
- 位置:《大数据日知录:架构与算法》第11章《大规模批处理系统》,原文段落70(OEBPS/text00016.html)。
- 结论依据:本卡说明书中机制及其适用条件;出版时版本、目标数字与架构状态不作为当前普遍保证。
- 原始内容:从大量数据中,根据记录某个字段内容的大小取出其值最大的k 个记录,这也是非常常见的数据过滤应用场景(不失一般性,这里以k =10作为例子)。这和简单过滤的差异是:简单过滤的条件判断只涉及当前记录,而Topk 计算模式则需要在记录之间进行比较,并获得全局最大的数据子集。