知识卡片

普通读书笔记卡 · 2575.e

Shuffle位置账本

理解等级:未标注

Shuffle要先有一本“输出位置账本”:每个map任务完成后把输出状态(在哪台机器、每个分区多大)上报,Driver端的MapOutputTrackerMaster按Shuffle编号汇总成最新最全的记录;Executor端的跟踪器只缓存本节点信息,需要时向Driver查询。reduce任务正是查这本账才知道去哪里拉取数据,账本出错,下游就无法定位上游结果。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《Spark内核设计的艺术:架构设计与实现 (大数据技术丛书)》第5章《Spark执行环境》(源文件:_epub-src/EPUB/text00091.html) - 结论依据:原文说明MapOutputTrackerWorker把map任务跟踪信息发送给MapOutputTrackerMaster,由后者整理维护所有map任务输出信息;mapStatuses按shuffleId保存各map任务的MapStatus,Master端最新最全。 - 原始内容:MapOutputTrackerWorker将map任务的跟踪信息,通过Map OutputTrackerMasterEndpoint的RpcEndpointRef发送给MapOutputTrackerMaster,由MapOutput TrackerMaster负责整理和维护所有的map任务的输出跟踪信息。