← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 1776.a

Shuffle是成本中心

理解等级:未标注

批处理任务的真正代价常在 Shuffle:中间结果落盘、跨网络传输、排序和聚合都会放大延迟。优化 MapReduce 不能只看计算函数,还要减少键倾斜和无谓数据移动。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 大规模批处理系统 · 查看原书依据

      第二,在一次应用任务执行过程中,MapReduce计算模型存在多处的磁盘读/写及网络传输过程。比如初始的数据块读取、Map任务的中间结果输出到本地磁盘、Shuffle阶段网络传输、Reduce阶段的磁盘读及GFS写入等。对于迭代类机器学习应用来说,往往需要同一个MapReduce任务反复迭代进行,此时磁盘读/写及网络传输开销需要反复进行多次,这便是导致其处理这种任务效率低下的重要原因。

    参考来源

    - 位置:《大数据日知录:架构与算法》第11章《大规模批处理系统》"11.1 MapReduce"及"11.2.1 求和模式"一节(源文件:_epub-src/OEBPS/text00016.html) - 结论依据:原文明确"一次应用任务执行过程中,MapReduce计算模型存在多处的磁盘读/写及网络传输过程。比如初始的数据块读取、Map任务的中间结果输出到本地磁盘、Shuffle阶段网络传输、Reduce阶段的磁盘读及GFS写入",并说明Partitioner设计不当"可能会导致数据分布倾斜(Skewed),即有些Reducer需要处理大量的信息",Combiner可"极大地减少Shuffle阶段的网络传输量"。 - 原始内容:MapReduce计算模型存在多处的磁盘读/写及网络传输过程。比如初始的数据块读取、Map任务的中间结果输出到本地磁盘、Shuffle阶段网络传输、Reduce阶段的磁盘读及GFS写入等……如果使用Combiner会极大地减少Shuffle(拖曳)阶段的网络传输量……一般的策略是对Reducer个数哈希取模,但是这可能会导致数据分布倾斜(Skewed),即有些Reducer需要处理大量的信息