知识卡片

普通读书笔记卡 · 2280.q.11

MapReduce为抢占而设计

理解等级:未标注

MPP 数据库遇到节点崩溃,通常中止整个查询让用户重试;MapReduce 则容忍单个任务失败,并更积极地把数据落盘。原因不只是作业大,更在于历史:Google 的在线服务与批处理混跑在同一批机器上,高优先级任务可随时抢占低优先级任务。运行一小时的 MapReduce 任务约有 5% 概率被终止,比硬件故障高一个数量级。在不支持通用抢占的开源调度器上,这种设计就没那么必要。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第十章:批处理 · 查看原书依据

      这就是MapReduce被设计为容忍频繁意外任务终止的原因:不是因为硬件很不可靠,而是因为任意终止进程的自由有利于提高计算集群中的资源利用率。

    参考来源

    - 位置:《数据密集型应用系统设计》第十章《批处理》"针对频繁故障设计"(源文件:_epub-src/ch10_split_003.html) - 结论依据:原文对比MPP数据库整体重试与MapReduce任务级重试的差异,并给出Google混合数据中心抢占式调度的历史背景及"运行一小时任务约5%被抢占终止"的具体数据,说明MapReduce的容错设计源于抢占式资源利用策略而非硬件不可靠,直接支撑本卡片结论。 - 原始内容:这种架构允许非生产(低优先级)计算资源被过量使用……在谷歌,运行一个小时的MapReduce任务有大约有5%的风险被终止……这就是MapReduce被设计为容忍频繁意外任务终止的原因:不是因为硬件很不可靠,而是因为任意终止进程的自由有利于提高计算集群中的资源利用率。