知识卡片
Standalone与YARN模式下Driver和Executor的容错差异
Spark支持local、standalone、YARN、Mesos多种运行模式,但真正值得记住的不是模式名称本身,而是同一模式下”client”与”cluster”两种子模式对容错能力造成的实质差异。以YARN为例:yarn-client模式下,Driver运行在提交作业的客户端机器上(与客户端进程同一个JVM),Executor运行在YARN Container里——这种部署对调试很友好(用户能直接在本地看到Driver的运行输出),但代价是Driver完全不受YARN管理,一旦Driver所在客户端进程或机器故障,集群管理器不能按cluster模式的路径直接重启该Driver;应用是否可恢复还取决于外部重提交流程;yarn-cluster模式下,Driver由ApplicationMaster在YARN Container内部启动,Driver和Executor都被YARN纳入管理,Driver和Executor的故障可以触发集群管理器重调度或重启,但能否恢复计算状态与输出还取决于重试次数、checkpoint和外部写入等条件,不能称为完整无损容错。Standalone模式下的client/cluster模式呈现出完全相同的分野:client模式下Driver跑在客户端本地,Executor受Master管理;cluster模式下Driver和Executor由集群管理器管理并可按配置重启,仍需检查作业状态恢复条件。可迁移启发:部署模式应按交互性、Driver所在地、管理器重试能力及状态恢复要求选;长时间无人值守作业可优先评估cluster模式,生产交互式应用也可能有使用client模式的理由。
结构图:
flowchart TB
A["client模式(Standalone/YARN)"]
A --> A1["Driver运行在客户端本地<br/>不受集群管理器管理→单点故障风险"]
A --> A2["Executor受集群管理器管理(可容错)"]
A --> A3["优点:调试方便,直接看到本地输出"]
B["cluster模式(Standalone/YARN)"]
B --> B1["Driver运行在集群内(YARN ApplicationMaster/Spark slave)<br/>受集群管理器管理→可按配置重启"]
B --> B2["Executor同样受管理,故障可重新申请资源拉起"]
B --> B3["适合评估:长时间无人值守作业"]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。