知识卡片
热备同步两类管理信息
HDFS Standby既要追赶命名空间editlog,也要从DataNode接收块位置报告。只共享日志无法恢复全部运行时Block Map;提升为Active前还须追上已提交编辑。NFS共享日志和QJM是不同历史实现,第三方存储是否可用不能由主备数量推断。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 分布式文件系统 · 查看原书依据
1.使用第三方共享存储(NAS+NFS)来保存目录文件等命名空间元数据(editlog),ANN将元数据的更改信息写入第三方存储,SNN从第三方存储不断获取更新的元数据并体现在内存元数据中,以此来达到两者的数据一致性。从这里可以看出,这个方案仍然存在单点失效可能,因为如果 第三方存储发生故障则会影响到整个系统的正常运行,所以其本质是将NN的单点失效问题转换成为第三方存储的单点失效问题。尽管如此,考虑到很多第三方存储自带很强的冗余与容错机制,所以其可靠性要比单台服务器强得多。
参考来源
- 位置:《大数据日知录:架构与算法》第8章《分布式文件系统》,原文段落80(OEBPS/text00013.html)。
- 结论依据:本卡说明书中机制及其适用条件;出版时版本、目标数字与架构状态不作为当前普遍保证。
- 原始内容:1.使用第三方共享存储(NAS+NFS)来保存目录文件等命名空间元数据(editlog),ANN将元数据的更改信息写入第三方存储,SNN从第三方存储不断获取更新的元数据并体现在内存元数据中,以此来达到两者的数据一致性。从这里可以看出,这个方案仍然存在单点失效可能,因为如果 第三方存储发生故障则会影响到整个系统的正常运行,所以其本质是将NN的单点失效问题转换成为第三方存储的单点失效问题。尽管如此,考虑到很多第三方存储自带很强的冗余与容错机制,所以其可靠性要比单台服务器强得多。