← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 1776.b

模式复用MR

理解等级:未标注

求和、过滤、数据组织和 Join 都可表达成 MapReduce 模式。把业务问题套进模式不是机械翻译,而是判断哪些计算能局部化、哪些必须按键重分布。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 大规模批处理系统 · 查看原书依据

      鉴于MapReduce已经在各种应用领域获得了广泛的使用,本节归纳了使用MapReduce机制来解 决批处理任务中若干最常见的计算模式,在实际应用中大部分ETL任务都可以归结为这些计算模式或者其变体。

    参考来源

    - 位置:《大数据日知录:架构与算法》第11章《大规模批处理系统》"11.2 常见的MapReduce计算模式"(求和模式等小节)(源文件:_epub-src/OEBPS/text00016.html) - 结论依据:原文归纳"求和模式"(数值求和、记录求和)等常见MapReduce计算模式,并具体说明"数值求和"以对象ID为Key、数值为Value,通过Shuffle将同Key传给同一Reducer做统计计算;"记录求和"则以累加对象ID形成队列,本质是把不同业务问题映射到"哪些能在Map阶段局部处理、哪些需要按Key在Shuffle阶段重分布"的判断上。 - 原始内容:对于海量数据来说,通过对相似数据进行简单求和、统计计算或者相似内容归并是非常常见的应用场景,求和模式即描述这类应用场景及其对应的MapReduce解决方案,根据求和对象的类型,可以细分为数值求和以及记录求和两种情况……通过Shuffle阶段,MapReduce将相同对象传递给同一个Reducer,Reducer则对相同对象的若干Value进行数学统计计算,得到最终结果。