知识卡片

普通读书笔记卡 · 2698

MapReduce分治

理解等级:未标注

MapReduce 把海量数据处理拆成两步:Map 在各节点对本地数据块运算,产出键值对;Reduce 汇总相同键的中间结果。分片分配、任务调度、失败重试都由框架承担:主节点监测各工作节点,发现无响应就隔离并把任务改派给其他节点。它降低了分布式编程门槛,但前提是问题能表达为键值变换。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《云计算:从基础架构到最佳实践》第12章《分布式云计算》(源文件:_epub-src/OEBPS/Text/part0020_split_001.html) - 结论依据:原文说明MapReduce在各节点运行Map函数对本地数据分块运算生成键值对,Reduce按相同键处理Map输出;Master负责分片分配、监测任务,对无响应的Slave进行隔离并将任务重新指派。 - 原始内容:(2)在各个节点运行Map函数,Map函数的作用是在本地节点上对数据分块进行运算……每个Reduce节点只处理与本节点Map输出的数据(list<key,value>)相同键值的数据……对一定时间间隔内没有响应的Slave节点进行隔离,并将它的其任务重新指派给其他Slave节点。