知识卡片

普通读书笔记卡 · 1776.a.1

分区文件衔接归约

理解等级:中级

每个Map把中间结果按Reduce分区写入本地文件,Master提供位置,Reduce抓取所属分区并归并排序。分区决定相同键应汇聚到哪里,排序为按键分组提供条件。中间结果在本地不等同于持久输入,丢失后可能需要重算已完成Map。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 大规模批处理系统 · 查看原书依据

      4.缓存的Map函数产生的中间结果周期性地被写入本地磁盘,每个Map函数的中间结果在写入磁盘前被分割函数(Partitioner)切割成R 份,R 是Reduce的个数。这里的分割函数一般是用Key对R 进行哈希取模,这样就将Map函数的中间数据分割成R 份对应每个Reduce函数所需的数据分片临时文件。Map函数完成对应数据块的处理后将其R 个临时文件位置通知Master,再由Master将其转交给Reduce任务的Worker。

    参考来源

    - 位置:《大数据日知录:架构与算法》第11章《大规模批处理系统》,原文段落34(OEBPS/text00016.html)。 - 结论依据:本卡说明书中机制及其适用条件;出版时版本、目标数字与架构状态不作为当前普遍保证。 - 原始内容:4.缓存的Map函数产生的中间结果周期性地被写入本地磁盘,每个Map函数的中间结果在写入磁盘前被分割函数(Partitioner)切割成R 份,R 是Reduce的个数。这里的分割函数一般是用Key对R 进行哈希取模,这样就将Map函数的中间数据分割成R 份对应每个Reduce函数所需的数据分片临时文件。Map函数完成对应数据块的处理后将其R 个临时文件位置通知Master,再由Master将其转交给Reduce任务的Worker。