知识卡片

普通读书笔记卡 · 1776.a.3

本地中间结果丢失需重算

理解等级:中级

Map Worker故障时,即使Map先前完成,其本地中间文件也可能丢失,Master需重调度相关任务;Reduce失败通常可重新抓取仍存活的Map输出。恢复范围取决于中间结果是否持久化及可重放,不是仅由拉取或推送方式决定。任务可重执行还要求用户副作用有相应约束。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 大规模批处理系统 · 查看原书依据

      Google的MapReduce框架支持细粒度的容错机制。Master周期性地Ping各个Worker,如果在一定时间内Worker没有响应,则可以认为其已经发生故障。此时将由这个Worker已经完成的和正在进行的所有Map任务重新设置为Idle状态,这些任务将由其他Worker重新执行。至于为何将已经完成的任务也重新执行,是因为Map阶段将中间结果保存在执行Map任务的Worker机器本地磁盘上,Map任务的Worker发生故障意味着机器不可用,所以无法获取中间结果,此时只能重新执行 来获得这部分中间数据。对于已经完成的Reduce任务来说,即使Worker发生故障也无须重新执行,因为其结果数据是保存在GFS中的,数据可用性已经由GFS获得了保证。但因为Master是单点的,所以如果Master失败,则整个MapReduce任务失败,应用可以通过反复提交来完成任务。

    参考来源

    - 位置:《大数据日知录:架构与算法》第11章《大规模批处理系统》,原文段落41(OEBPS/text00016.html)。 - 结论依据:本卡说明书中机制及其适用条件;出版时版本、目标数字与架构状态不作为当前普遍保证。 - 原始内容:Google的MapReduce框架支持细粒度的容错机制。Master周期性地Ping各个Worker,如果在一定时间内Worker没有响应,则可以认为其已经发生故障。此时将由这个Worker已经完成的和正在进行的所有Map任务重新设置为Idle状态,这些任务将由其他Worker重新执行。至于为何将已经完成的任务也重新执行,是因为Map阶段将中间结果保存在执行Map任务的Worker机器本地磁盘上,Map任务的Worker发生故障意味着机器不可用,所以无法获取中间结果,此时只能重新执行 来获得这部分中间数据。对于已经完成的Reduce任务来说,即使Worker发生故障也无须重新执行,因为其结果数据是保存在GFS中的,数据可用性已经由GFS获得了保证。但因为Master是单点的,所以如果Master失败,则整个MapReduce任务失败,应用可以通过反复提交来完成任务。