知识卡片
MapReduce分治
MapReduce 把海量数据处理拆成两步:Map 在各节点对本地数据块运算,产出键值对;Reduce 汇总相同键的中间结果。分片分配、任务调度、失败重试都由框架承担:主节点监测各工作节点,发现无响应就隔离并把任务改派给其他节点。它降低了分布式编程门槛,但前提是问题能表达为键值变换。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《云计算:从基础架构到最佳实践》第12章《分布式云计算》(源文件:_epub-src/OEBPS/Text/part0020_split_001.html)
- 结论依据:原文说明MapReduce在各节点运行Map函数对本地数据分块运算生成键值对,Reduce按相同键处理Map输出;Master负责分片分配、监测任务,对无响应的Slave进行隔离并将任务重新指派。
- 原始内容:(2)在各个节点运行Map函数,Map函数的作用是在本地节点上对数据分块进行运算……每个Reduce节点只处理与本节点Map输出的数据(list<key,value>)相同键值的数据……对一定时间间隔内没有响应的Slave节点进行隔离,并将它的其任务重新指派给其他Slave节点。