返回主题:Spark内核执行机制

知识卡片

普通读书笔记卡 · 2577.e

TaskSet管重试

理解等级:未标注

每个Stage的任务集由一个TaskSetManager管理:记录各任务的运行、成功、失败,负责本地性和推测执行;某个Executor丢失时,把它上面正在跑的任务当作失败重新提交。全部任务都有一次成功后进入“僵尸”状态,不再启动新尝试,但继续跟踪还在跑的尝试。失败处理集中在任务集层面,不污染DAG的划分逻辑。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《Spark内核设计的艺术:架构设计与实现 (大数据技术丛书)》第7章《调度系统》(源文件:_epub-src/EPUB/text00161.html、_epub-src/EPUB/text00163.html) - 结论依据:原文说明TaskSetManager管理TaskSet,负责任务推断、Task本地性和资源分配;Executor丢失时将其上运行的Task作为失败任务重新提交;所有Task成功后进入“僵尸”状态但仍跟踪运行中的Task。 - 原始内容:TaskSetManager的executorLost方法(见代码清单7-74)进而将在此Executor上正在运行的Task作为失败任务处理,并重新提交这些任务。……TaskSetManager对TaskSet进行管理,包括任务推断、Task本地性,并对Task进行资源分配。