知识卡片
驱动器调度执行器任务
一个 Spark 应用由驱动器和执行器进程共同运行。驱动器执行应用入口,把 RDD 操作形成的逻辑计算图转成任务,并向执行器调度;执行器计算任务、返回结果,也可缓存 RDD 分区。集群管理器负责为应用启动执行器,角色与驱动器的任务调度不同。若驱动器的主程序退出,整个应用会结束,不能把执行器看成独立持续工作的消费服务。
结构图:
flowchart LR
U[应用提交] --> D[驱动器:计划与调度]
D -->|申请资源| M[集群管理器]
M -->|启动| E[执行器进程]
D -->|下发任务| E
E -->|计算结果| D
E --> C[缓存 RDD 分区]
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《深入理解Kafka:核心设计与实践原理 2019》第12章 12.3 节(源文件:`_epub-src/OEBPS/Text/chapter13.xhtml`)。
- 结论依据:原文依次定义驱动器、执行器和集群管理器,说明任务下发、结果返回、缓存与主程序退出后的资源释放。
- 原始内容:驱动器程序在 Spark 应用中有两个职责:将用户程序转为任务,以及为执行器节点调度任务。