知识卡片
排序去重避免内存集合
统计每个交易号的不同用户数时,若 Reducer 把所有用户 ID 放进内存集合,内存占用随去重基数增长。可让 Mapper 输出“交易号+用户 ID”复合键,按交易号分区、按复合键排序;Reducer 顺序扫描同一交易号,相邻用户 ID 变化时才加一。此法以排序和顺序读取换取有界的去重状态。书中示例代码存在条件判断笔误,应保留方法而非照抄代码。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《大数据技术体系详解:原理、架构与实践》第10章《批处理引擎MapReduce》10.3.1 SQL GroupBy 实例(源文件:`_epub-src/OEBPS/text00081.html`)
- 结论依据:原文对比在 Reducer 中使用 Map 去重与借助 MapReduce 排序去重,并在示例中按 dealid 分区、比较连续的 dealid 和 uid;由此提炼内存与排序的取舍。示例中的 `dealData.length < 0` 不可能成立,代码不能直接复用。
- 原始内容:一种简单的方案是,在Mapper中,将dealid和uid分别作为key和value输出,在Reducer中,借助Java中的Map数据结构统计同一dealid中不同uid数目。该方法缺点是Reducer中内存使用量是不可控的,极有可能发生内存溢出。