返回主题:Spark内核执行机制

知识卡片

结构图卡 · 2579.e.1

Standalone与YARN模式下Driver和Executor的容错差异

理解等级:未标注

Spark支持local、standalone、YARN、Mesos多种运行模式,但真正值得记住的不是模式名称本身,而是同一模式下”client”与”cluster”两种子模式对容错能力造成的实质差异。以YARN为例:yarn-client模式下,Driver运行在提交作业的客户端机器上(与客户端进程同一个JVM),Executor运行在YARN Container里——这种部署对调试很友好(用户能直接在本地看到Driver的运行输出),但代价是Driver完全不受YARN管理,一旦Driver所在客户端进程或机器故障,集群管理器不能按cluster模式的路径直接重启该Driver;应用是否可恢复还取决于外部重提交流程;yarn-cluster模式下,Driver由ApplicationMaster在YARN Container内部启动,Driver和Executor都被YARN纳入管理,Driver和Executor的故障可以触发集群管理器重调度或重启,但能否恢复计算状态与输出还取决于重试次数、checkpoint和外部写入等条件,不能称为完整无损容错。Standalone模式下的client/cluster模式呈现出完全相同的分野:client模式下Driver跑在客户端本地,Executor受Master管理;cluster模式下Driver和Executor由集群管理器管理并可按配置重启,仍需检查作业状态恢复条件。可迁移启发:部署模式应按交互性、Driver所在地、管理器重试能力及状态恢复要求选;长时间无人值守作业可优先评估cluster模式,生产交互式应用也可能有使用client模式的理由。

结构图:

flowchart TB
  A["client模式(Standalone/YARN)"]
  A --> A1["Driver运行在客户端本地<br/>不受集群管理器管理→单点故障风险"]
  A --> A2["Executor受集群管理器管理(可容错)"]
  A --> A3["优点:调试方便,直接看到本地输出"]
  B["cluster模式(Standalone/YARN)"]
  B --> B1["Driver运行在集群内(YARN ApplicationMaster/Spark slave)<br/>受集群管理器管理→可按配置重启"]
  B --> B2["Executor同样受管理,故障可重新申请资源拉起"]
  B --> B3["适合评估:长时间无人值守作业"]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《大数据技术体系详解:原理、架构与实践》第11章《DAG计算引擎Spark》之"11.3 Spark运行模式"(源文件:_epub-src/OEBPS/text00089.html) - 结论依据:原文说明"在yarn-client模式中,Spark Driver运行在客户端……该模式便于程序的调试,但因Driver不受YARN管理,因此Driver本身不具备容错特性……在yarn-cluster模式中,Spark Driver和Executor均运行在YARN Container中……该模式下,Driver和Executor均具备良好的容错性能:Driver因故障退出后,由YARN ResourceManager重新调度与启动……在cluster模式中,Spark Driver和Executor均运行在slave上……在该模式下,Driver和Executor均具备良好的容错性,一旦它们因故障退出后,Master会重新分配资源并将之启动起来", 支撑Driver部署位置与管理器重启路径差异;原文未保证状态、外部输出的无损恢复,也未排除生产交互式client模式。 - 原始内容:注意,Spark On YARN与Spark On Standalone Cluster是完全不同的选择,YARN是一个通用的资源管理平台,可以同时混合运行MapReduce、Spark等应用程序,而Standalone集群是为Spark应用程序专门打造的,不能运行除Spark之外的其他类型的应用程序。