知识卡片
Shuffle位置账本
Shuffle要先有一本“输出位置账本”:每个map任务完成后把输出状态(在哪台机器、每个分区多大)上报,Driver端的MapOutputTrackerMaster按Shuffle编号汇总成最新最全的记录;Executor端的跟踪器只缓存本节点信息,需要时向Driver查询。reduce任务正是查这本账才知道去哪里拉取数据,账本出错,下游就无法定位上游结果。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《Spark内核设计的艺术:架构设计与实现 (大数据技术丛书)》第5章《Spark执行环境》(源文件:_epub-src/EPUB/text00091.html)
- 结论依据:原文说明MapOutputTrackerWorker把map任务跟踪信息发送给MapOutputTrackerMaster,由后者整理维护所有map任务输出信息;mapStatuses按shuffleId保存各map任务的MapStatus,Master端最新最全。
- 原始内容:MapOutputTrackerWorker将map任务的跟踪信息,通过Map OutputTrackerMasterEndpoint的RpcEndpointRef发送给MapOutputTrackerMaster,由MapOutput TrackerMaster负责整理和维护所有的map任务的输出跟踪信息。