知识卡片
主控元数据瓶颈
单一 Master 简化元数据管理和全局协调,但会带来单点失效与扩展上限。HDFS 的 HA 和 Federation 分别处理可用性与水平扩展,说明控制面也需要分层拆解。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 分布式文件系统 · 查看原书依据
GFS架构中的单一“主控服务器”设计是存在较大问题的,其中最主要的两个问题是:单点失效和水平扩展性不佳。早期的HDFS也按照此方案处理,但是由于数据规模增长很快,在很多工业界的实际应用中,这两个问题越来越突出,比如由于单点失效导致整个系统不可用,或者由于水平扩展不佳导致整个文件系统管理文件数目容易达到上限,所以集群规模达到一定程度就无法扩展(极限大约在3000到4000台机器左右)。Facebook为了解决单点失效问题专门对Hadoop进行了改造,提出了AvataNode等改进方案,我国的百度针对这些问题也对Hadoop做了内部定制版本。很明显, 这两点成为制约HDFS使用的重要障碍。
参考来源
- 位置:《大数据日知录:架构与算法》第8章《分布式文件系统》"8.2 HDFS"引言部分(源文件:_epub-src/OEBPS/text00013.html)
- 结论依据:原文明确"GFS架构中的单一'主控服务器'设计是存在较大问题的,其中最主要的两个问题是:单点失效和水平扩展性不佳",并说明"从Hadoop 2.0开始提出了统一的解决方案,即高可用方案(HA)和NameNode联盟(NameNode Federation)。其中HA是为了解决单点失效问题,而NameNode联盟则是为了解决整个系统的水平扩展问题"。
- 原始内容:GFS架构中的单一"主控服务器"设计是存在较大问题的,其中最主要的两个问题是:单点失效和水平扩展性不佳……针对这两个问题,从Hadoop 2.0开始提出了统一的解决方案,即高可用方案(High Availability,HA)和NameNode联盟(NameNode Federation)。其中HA是为了解决单点失效问题,而NameNode联盟则是为了解决整个系统的水平扩展问题。