知识卡片
MapReduce托举任务调度
MapReduce把大输入拆给Map Worker处理,中间结果先写本地文件,再由Reduce Worker读取合并并写全局文件系统。Master分派任务、监控健康并重新安排失败工作;框架托举这些协调,使应用聚焦map和reduce逻辑。这个抽象仍要求任务与数据满足框架契约,不能把“写对单机函数”理解成任意副作用、外部状态或失败重试都自动安全。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- · 查看原书依据
Master Worker负责实例化其他的Workers,分配splits给Map Workers。
参考来源
- 位置:《恰如其分的软件架构》第14章《架构风格》14.14 map-reduce风格,来源项目book-sources,extracted/恰如其分的软件架构/_epub-src/OEBPS/text00155.html。
- 结论依据:原文对本卡概念作出实质解释,正文保留其用途和限制,不将读者推断冒充原文。
- 原始内容:Master Worker负责实例化其他的Workers,分配splits给Map Workers。