← 返回卡片

原书出处

大数据日知录_架构与算法

11 大规模批处理系统

2014年9月第1版 · 核验版本的摘录快照 · 导入于 2026-10-24T04:14:12.133Z

Google的MapReduce框架支持细粒度的容错机制。Master周期性地Ping各个Worker,如果在一定时间内Worker没有响应,则可以认为其已经发生故障。此时将由这个Worker已经完成的和正在进行的所有Map任务重新设置为Idle状态,这些任务将由其他Worker重新执行。至于为何将已经完成的任务也重新执行,是因为Map阶段将中间结果保存在执行Map任务的Worker机器本地磁盘上,Map任务的Worker发生故障意味着机器不可用,所以无法获取中间结果,此时只能重新执行 来获得这部分中间数据。对于已经完成的Reduce任务来说,即使Worker发生故障也无须重新执行,因为其结果数据是保存在GFS中的,数据可用性已经由GFS获得了保证。但因为Master是单点的,所以如果Master失败,则整个MapReduce任务失败,应用可以通过反复提交来完成任务。

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00016.html

EPUB SHA-256:e45b74c4bdd8959aef24f2a5183280eb73ec5f173108f8679a4bbf44bbd5b34d