知识卡片

普通读书笔记卡 · 2579.c

Executor多跳启动

理解等级:未标注

Standalone中一个Executor要经多跳才能执行任务:Master调度资源后通知Worker;Worker创建ExecutorRunner,拉起独立的CoarseGrainedExecutorBackend进程;该进程启动后注册到自己的RPC环境,再向Driver注册,Driver的调度器才把它纳入可用资源。任一跳失败都表现为“申请到了资源却没有Executor”,排查要按这条链逐跳看。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《Spark内核设计的艺术:架构设计与实现 (大数据技术丛书)》第9章《部署模式》(源文件:_epub-src/EPUB/text00260.html、_epub-src/EPUB/text00271.html) - 结论依据:原文说明Worker创建ExecutorRunner管理Executor进程,CoarseGrainedExecutorBackend作为独立进程在local-cluster和Standalone模式下是Driver与Executor通信的后端接口,启动后注册到Executor的RpcEnv并向Driver注册。 - 原始内容:3)创建ExecutorRunner,并将ExecutorRunner放入executors。……CoarseGrainedExecutorBackend是Driver与Executor通信的后端接口,但只在local-cluster和Standalone模式下才会使用。