知识卡片
QJM需要多数日志节点
配置2F+1个JournalNode时,一次日志写入须获得至少F+1个节点的持久化确认,才形成多数派并允许容忍F个节点故障。原文写成至少F个确认不足以形成多数派。QJM用日志写者epoch等机制约束写入,不等于用同一个算法包办NameNode健康判断与选主。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 分布式文件系统 · 查看原书依据
可以看出上述HA方案有两个明显缺点:其一是第三方存储仍然存在单点失效可能;其二是需要在多处进行隔离措施以防止脑裂现象出现。Cloudera在其Hadoop发行版中提供了基于QJM(Quorum Journal Manager)的HA方案。其思路如图8-7所示,本质上这是利用Paxos协议在多台备份机之间选举“主控服务器”的经典应用:QJM在2F +1个JournalNode中存储NN的editlog,每次写入操作如果有F 台服务器返回成功即可认为成功写入,通过Paxos协议保证数据的一致性,QJM最多可以容忍F 个JournalNode同时发生故障而系统仍然可以正常运行。
参考来源
- 位置:《大数据日知录:架构与算法》第8章《分布式文件系统》,原文段落90(OEBPS/text00013.html)。
- 结论依据:本卡说明书中机制及其适用条件;出版时版本、目标数字与架构状态不作为当前普遍保证。原文错误或过度断言据官方资料限定:[https://hadoop.apache.org/docs/r2.10.0/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html](https://hadoop.apache.org/docs/r2.10.0/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html)。
- 原始内容:可以看出上述HA方案有两个明显缺点:其一是第三方存储仍然存在单点失效可能;其二是需要在多处进行隔离措施以防止脑裂现象出现。Cloudera在其Hadoop发行版中提供了基于QJM(Quorum Journal Manager)的HA方案。其思路如图8-7所示,本质上这是利用Paxos协议在多台备份机之间选举“主控服务器”的经典应用:QJM在2F +1个JournalNode中存储NN的editlog,每次写入操作如果有F 台服务器返回成功即可认为成功写入,通过Paxos协议保证数据的一致性,QJM最多可以容忍F 个JournalNode同时发生故障而系统仍然可以正常运行。