知识卡片
机架感知复制
HDFS 复制策略会利用网络拓扑,尽量在可靠性和带宽之间折中:副本不能都在同一故障域,也不能让写入跨机架成本过高。机架感知把物理网络事实纳入逻辑调度。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《Hadoop技术内幕:深入解析Hadoop Common和HDFS架构设计与实现原理》第8章《名字节点实现》(源文件:_epub-src/EPUB/text00115.html)
- 结论依据:原文说明感知网络拓扑可安排副本位置以提高抗节点和机架故障能力,同时同机架内带宽更充裕。
- 原始内容:一般来说,节点发生故障的概率比机架大,而机架发生故障的概率比整个集群所有节点都出现问题(如停电)大,如果能够感知网络拓扑,就可以安排数据块副本的位置,以提高抗节点/机架故障的能力。……另一方面,同一机架中,节点间的带宽资源,会比跨机架间的资源丰富,特别是在处理大规模数据时,了解网络布局,可更好地利用数据的局部性。