← 返回卡片

原书出处

大数据日知录_架构与算法

11 大规模批处理系统

2014年9月第1版 · 核验版本的摘录快照 · 导入于 2026-10-24T04:14:12.133Z

Mapper以需要统计对象的ID作为Key,其对应的数值作为Value,比如单词计数中Key为单词本身,Value为1。在此种应用中如果使用Combiner会极大地减少Shuffle(拖曳)阶段的网络传输量。另外,Partitioner在这种应用中如何设计也很重要,一般的策略是对Reducer个数哈希取模,但是这可能会导致数据分布倾斜(Skewed),即有些Reducer需要处理大量的信息,如果能够合理选择Partitioner策略会优化此种情形。通过Shuffle阶段,MapReduce将相同对象传递给同一个Reducer,Reducer则对相同对象的若干Value进行数学统计计算,得到最终结果。比如单词计数中这个数学计算就是简单求和,对于其他类型的应用,在这里也可以采取求均值或者中位数等各种统计操作。

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00016.html

EPUB SHA-256:e45b74c4bdd8959aef24f2a5183280eb73ec5f173108f8679a4bbf44bbd5b34d