知识卡片

操作参考卡 · 1776.g

用可合并统计量求平均

理解等级:中级

Map按对象键输出统计量,Reduce合并同键结果;计数与求和可局部预聚合,平均值保存累计和与样本数,最终再相除。分母为零和数值范围要有定义。中间格式应包含足够信息,不能只保留已舍入均值,否则分区大小不同会使结果偏离整体平均。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 大规模批处理系统 · 查看原书依据

      Mapper以需要统计对象的ID作为Key,其对应的数值作为Value,比如单词计数中Key为单词本身,Value为1。在此种应用中如果使用Combiner会极大地减少Shuffle(拖曳)阶段的网络传输量。另外,Partitioner在这种应用中如何设计也很重要,一般的策略是对Reducer个数哈希取模,但是这可能会导致数据分布倾斜(Skewed),即有些Reducer需要处理大量的信息,如果能够合理选择Partitioner策略会优化此种情形。通过Shuffle阶段,MapReduce将相同对象传递给同一个Reducer,Reducer则对相同对象的若干Value进行数学统计计算,得到最终结果。比如单词计数中这个数学计算就是简单求和,对于其他类型的应用,在这里也可以采取求均值或者中位数等各种统计操作。

    参考来源

    - 位置:《大数据日知录:架构与算法》第11章《大规模批处理系统》,原文段落55(OEBPS/text00016.html)。 - 结论依据:本卡说明书中机制及其适用条件;出版时版本、目标数字与架构状态不作为当前普遍保证。 - 原始内容:Mapper以需要统计对象的ID作为Key,其对应的数值作为Value,比如单词计数中Key为单词本身,Value为1。在此种应用中如果使用Combiner会极大地减少Shuffle(拖曳)阶段的网络传输量。另外,Partitioner在这种应用中如何设计也很重要,一般的策略是对Reducer个数哈希取模,但是这可能会导致数据分布倾斜(Skewed),即有些Reducer需要处理大量的信息,如果能够合理选择Partitioner策略会优化此种情形。通过Shuffle阶段,MapReduce将相同对象传递给同一个Reducer,Reducer则对相同对象的若干Value进行数学统计计算,得到最终结果。比如单词计数中这个数学计算就是简单求和,对于其他类型的应用,在这里也可以采取求均值或者中位数等各种统计操作。