知识卡片
双Master架构的核心难题:leader选举与脑裂防止
[[HDFS主从架构与NameNode高可用切换机制]]、[[HBase借ZooKeeper实现Master无状态解耦]]中反复出现的”引入Standby节点做高可用”这个套路,本质上都在解决同一对更底层的难题。第一个难题是”如何选出唯一的active master”:不能把决定权交给一个不可靠的单点裁判;可以让应用候选节点自行协调,也可以使用具备多数派容错的外部协调集群选举与记录状态。ZooKeeper正是本章介绍的后一种方案。第二个难题是”如何安全地把standby切换为active、同时避免脑裂”:脑裂指集群中同时存在两个都自认为是active的master,这会导致两边各自独立处理写请求、造成数据不一致或整体状态混乱——比选出leader更难的是,如何通过任期、租约或隔离旧leader等机制避免两个active同时对外生效。这两个难题几乎会在所有采用master/slave架构的分布式系统里重复出现(HDFS、HBase、YARN都要面对),如果每个系统都各自造轮子实现一遍leader选举和脑裂防护逻辑,会造成大量重复劳动且各自的实现质量参差不齐,这正是ZooKeeper这类通用协调服务存在的根本理由——把这个共性问题从各个系统中剥离出来,做成一个被广泛复用的独立组件。可迁移启发:识别一个问题是否值得抽象成独立的公共基础设施,关键看它是否在多个系统里以几乎相同的形态反复出现——leader选举和脑裂防护正是这样一个跨系统重复出现、且实现门槛高、容易做错的通用问题。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《大数据技术体系详解:原理、架构与实践》第8章《分布式协调服务ZooKeeper》之"8.1 分布式协调服务的存在意义"(源文件:_epub-src/OEBPS/text00059.html)
- 结论依据:原文说明"引入双master需要解决如下两个难题:1)如何选举出一个master作为active master?不能引入不可靠的第三方组件进行选举,否则又再次引入了一个存在单点故障的服务……2)如何发现active master出现故障,如何让standby master安全切换为active master?该问题的难点在于如何避免出现脑裂(split-brain)……几乎所有采用master/slave架构的分布式系统均存在以上问题,为了避免每个分布式系统单独开发这些功能造成工作冗余,构造一个可靠的协调服务势在必行",直接支撑本卡关于双难题与协调服务必要性的结论。
- 原始内容:即集群中同时存在两个active master,造成数据不一致或集群出现混乱的现象。