知识卡片
退出分两类
资源回收要同时处理两类退出:一类有“告别消息”,如应用调用stop主动停止、Worker退出前杀掉Executor并上报状态变更;另一类没有,如进程崩溃、机器宕机,只能靠心跳超时被发现。Executor异常退出还会被重试,超过上限且应用已无运行中的Executor时,整个应用被移除。只处理主动退出的回收逻辑,会在故障时留下僵尸资源。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《Spark内核设计的艺术:架构设计与实现 (大数据技术丛书)》第9章《部署模式》(源文件:_epub-src/EPUB/text00252.html、_epub-src/EPUB/text00283.html)
- 结论依据:原文说明Worker退出前会主动杀死Executor进程并上报ExecutorStateChanged,但Worker退出后不再发心跳,只能靠Master的timeOutDeadWorkers超时发现;Executor非正常退出且重试超过MAX_EXECUTOR_RETRIES时,无运行中Executor的Application将被移除。
- 原始内容:如果Executor非正常退出且重试次数已经超过了MAX_EXECUTOR_RETRIES的限制,那么Executor所属的Application在没有任何Executor处于RUNNING状态时将被彻底移除。……由于Worker退出了,所以不会有Heartbeat消息发送给Master,所以无法更新WorkerInfo的最后心跳时间(lastHeartbeat)。