此卡片不在当前主题的阅读序列中,可返回主题继续阅读。
知识卡片
Master管资源
Standalone模式下,Master集中管理Worker、Driver、Application和Executor。为避免单点,可部署多个Master,但同一时刻只有一个激活,其余待命。能平滑切换的前提是状态已持久化:Worker、Driver和应用信息都存进持久化引擎,新Master接管后恢复这些信息,切换期间只影响新任务提交,运行中的任务不受影响。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《Spark内核设计的艺术:架构设计与实现 (大数据技术丛书)》第9章《部署模式》(源文件:_epub-src/EPUB/text00241.html)
- 结论依据:原文说明领导选举保证多个Master中只有一个处于激活状态,激活Master故障时选出新的;由于Worker、Driver和Application信息已通过持久化引擎持久化,切换Master只影响新任务提交,不影响运行中的任务。
- 原始内容:领导选举机制(Leader Election)可以保证集群虽然存在多个Master,但是只有一个Master处于激活(Active)状态,其他的Master处于支持(Standby)状态。……由于整个集群的Worker,Driver和Application的信息都已经通过持久化引擎持久化,因此切换Master时只会影响新任务的提交,对于正在运行中的任务没有任何影响。