知识卡片

普通读书笔记卡 · 2579.d

退出分两类

理解等级:未标注

资源回收要同时处理两类退出:一类有“告别消息”,如应用调用stop主动停止、Worker退出前杀掉Executor并上报状态变更;另一类没有,如进程崩溃、机器宕机,只能靠心跳超时被发现。Executor异常退出还会被重试,超过上限且应用已无运行中的Executor时,整个应用被移除。只处理主动退出的回收逻辑,会在故障时留下僵尸资源。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《Spark内核设计的艺术:架构设计与实现 (大数据技术丛书)》第9章《部署模式》(源文件:_epub-src/EPUB/text00252.html、_epub-src/EPUB/text00283.html) - 结论依据:原文说明Worker退出前会主动杀死Executor进程并上报ExecutorStateChanged,但Worker退出后不再发心跳,只能靠Master的timeOutDeadWorkers超时发现;Executor非正常退出且重试超过MAX_EXECUTOR_RETRIES时,无运行中Executor的Application将被移除。 - 原始内容:如果Executor非正常退出且重试次数已经超过了MAX_EXECUTOR_RETRIES的限制,那么Executor所属的Application在没有任何Executor处于RUNNING状态时将被彻底移除。……由于Worker退出了,所以不会有Heartbeat消息发送给Master,所以无法更新WorkerInfo的最后心跳时间(lastHeartbeat)。