知识卡片
Executor多跳启动
Standalone中一个Executor要经多跳才能执行任务:Master调度资源后通知Worker;Worker创建ExecutorRunner,拉起独立的CoarseGrainedExecutorBackend进程;该进程启动后注册到自己的RPC环境,再向Driver注册,Driver的调度器才把它纳入可用资源。任一跳失败都表现为“申请到了资源却没有Executor”,排查要按这条链逐跳看。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《Spark内核设计的艺术:架构设计与实现 (大数据技术丛书)》第9章《部署模式》(源文件:_epub-src/EPUB/text00260.html、_epub-src/EPUB/text00271.html)
- 结论依据:原文说明Worker创建ExecutorRunner管理Executor进程,CoarseGrainedExecutorBackend作为独立进程在local-cluster和Standalone模式下是Driver与Executor通信的后端接口,启动后注册到Executor的RpcEnv并向Driver注册。
- 原始内容:3)创建ExecutorRunner,并将ExecutorRunner放入executors。……CoarseGrainedExecutorBackend是Driver与Executor通信的后端接口,但只在local-cluster和Standalone模式下才会使用。