知识卡片

普通读书笔记卡 · 1773.j

热备同步两类管理信息

理解等级:中级

HDFS Standby既要追赶命名空间editlog,也要从DataNode接收块位置报告。只共享日志无法恢复全部运行时Block Map;提升为Active前还须追上已提交编辑。NFS共享日志和QJM是不同历史实现,第三方存储是否可用不能由主备数量推断。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 分布式文件系统 · 查看原书依据

      1.使用第三方共享存储(NAS+NFS)来保存目录文件等命名空间元数据(editlog),ANN将元数据的更改信息写入第三方存储,SNN从第三方存储不断获取更新的元数据并体现在内存元数据中,以此来达到两者的数据一致性。从这里可以看出,这个方案仍然存在单点失效可能,因为如果 第三方存储发生故障则会影响到整个系统的正常运行,所以其本质是将NN的单点失效问题转换成为第三方存储的单点失效问题。尽管如此,考虑到很多第三方存储自带很强的冗余与容错机制,所以其可靠性要比单台服务器强得多。

    参考来源

    - 位置:《大数据日知录:架构与算法》第8章《分布式文件系统》,原文段落80(OEBPS/text00013.html)。 - 结论依据:本卡说明书中机制及其适用条件;出版时版本、目标数字与架构状态不作为当前普遍保证。 - 原始内容:1.使用第三方共享存储(NAS+NFS)来保存目录文件等命名空间元数据(editlog),ANN将元数据的更改信息写入第三方存储,SNN从第三方存储不断获取更新的元数据并体现在内存元数据中,以此来达到两者的数据一致性。从这里可以看出,这个方案仍然存在单点失效可能,因为如果 第三方存储发生故障则会影响到整个系统的正常运行,所以其本质是将NN的单点失效问题转换成为第三方存储的单点失效问题。尽管如此,考虑到很多第三方存储自带很强的冗余与容错机制,所以其可靠性要比单台服务器强得多。