知识卡片
MapReduce为抢占而设计
MPP 数据库遇到节点崩溃,通常中止整个查询让用户重试;MapReduce 则容忍单个任务失败,并更积极地把数据落盘。原因不只是作业大,更在于历史:Google 的在线服务与批处理混跑在同一批机器上,高优先级任务可随时抢占低优先级任务。运行一小时的 MapReduce 任务约有 5% 概率被终止,比硬件故障高一个数量级。在不支持通用抢占的开源调度器上,这种设计就没那么必要。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第十章:批处理
原书出处 · 1 处
- 第十章:批处理 · 查看原书依据
这就是MapReduce被设计为容忍频繁意外任务终止的原因:不是因为硬件很不可靠,而是因为任意终止进程的自由有利于提高计算集群中的资源利用率。
参考来源
- 位置:《数据密集型应用系统设计》第十章《批处理》"针对频繁故障设计"(源文件:_epub-src/ch10_split_003.html)
- 结论依据:原文对比MPP数据库整体重试与MapReduce任务级重试的差异,并给出Google混合数据中心抢占式调度的历史背景及"运行一小时任务约5%被抢占终止"的具体数据,说明MapReduce的容错设计源于抢占式资源利用策略而非硬件不可靠,直接支撑本卡片结论。
- 原始内容:这种架构允许非生产(低优先级)计算资源被过量使用……在谷歌,运行一个小时的MapReduce任务有大约有5%的风险被终止……这就是MapReduce被设计为容忍频繁意外任务终止的原因:不是因为硬件很不可靠,而是因为任意终止进程的自由有利于提高计算集群中的资源利用率。