知识卡片

普通读书笔记卡 · 1773.l

QJM需要多数日志节点

理解等级:高级

配置2F+1个JournalNode时,一次日志写入须获得至少F+1个节点的持久化确认,才形成多数派并允许容忍F个节点故障。原文写成至少F个确认不足以形成多数派。QJM用日志写者epoch等机制约束写入,不等于用同一个算法包办NameNode健康判断与选主。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 分布式文件系统 · 查看原书依据

      可以看出上述HA方案有两个明显缺点:其一是第三方存储仍然存在单点失效可能;其二是需要在多处进行隔离措施以防止脑裂现象出现。Cloudera在其Hadoop发行版中提供了基于QJM(Quorum Journal Manager)的HA方案。其思路如图8-7所示,本质上这是利用Paxos协议在多台备份机之间选举“主控服务器”的经典应用:QJM在2F +1个JournalNode中存储NN的editlog,每次写入操作如果有F 台服务器返回成功即可认为成功写入,通过Paxos协议保证数据的一致性,QJM最多可以容忍F 个JournalNode同时发生故障而系统仍然可以正常运行。

    参考来源

    - 位置:《大数据日知录:架构与算法》第8章《分布式文件系统》,原文段落90(OEBPS/text00013.html)。 - 结论依据:本卡说明书中机制及其适用条件;出版时版本、目标数字与架构状态不作为当前普遍保证。原文错误或过度断言据官方资料限定:[https://hadoop.apache.org/docs/r2.10.0/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html](https://hadoop.apache.org/docs/r2.10.0/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html)。 - 原始内容:可以看出上述HA方案有两个明显缺点:其一是第三方存储仍然存在单点失效可能;其二是需要在多处进行隔离措施以防止脑裂现象出现。Cloudera在其Hadoop发行版中提供了基于QJM(Quorum Journal Manager)的HA方案。其思路如图8-7所示,本质上这是利用Paxos协议在多台备份机之间选举“主控服务器”的经典应用:QJM在2F +1个JournalNode中存储NN的editlog,每次写入操作如果有F 台服务器返回成功即可认为成功写入,通过Paxos协议保证数据的一致性,QJM最多可以容忍F 个JournalNode同时发生故障而系统仍然可以正常运行。