知识卡片

普通读书笔记卡 · 7176.f · 生成模型:Tencent Hunyuan Hy

MapReduce移动计算

理解等级:中级

MapReduce采用分而治之,把大数据集的操作分发给各子节点,再汇总中间结果:map阶段把输入切成片段并解析成键值对,每个片段跑一个map任务,中间结果按键排序合并后分给reduce,reduce加工后写回HDFS。任务由JobTracker与TaskTracker调度,前者把任务分给空闲节点并负责容错,故障时重新调度。最关键的取舍是移动计算而非移动数据:框架尽量把计算放到已存有数据的节点上,减少网络传输,以此提高效率。代价是任务必须与数据布局协同,数据倾斜或跨节点拉取都会削弱这一优势;承担调度与容错的JobTracker本身也是集群需重点保障的角色。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大型分布式网站架构设计与实践》第5章《5.2 离线数据分析》(源文件:`extracted/大型分布式网站架构设计与实践/_epub-src/text/part0010_split_002.html`,来源项目 `a19c7933-4eda-4176-aebd-30fe7e1ad292`,文件 SHA-256 `d6c2a2e1d2c348204636896d9ca53c1399cd3aad90a4f4d3afe95569fd28d9bc`) - 结论依据:原文『采用移动计算而非移动数据的思想,减少数据在网络中的传输,以此来提高计算的效率』直接支撑本卡的核心取舍。 - 原始内容:Mapreduce框架尽量在那些存储数据的节点(如DataNode)上来执行计算任务,采用移动计算而非移动数据的思想,减少数据在网络中的传输,以此来提高计算的效率。