知识卡片

普通读书笔记卡 · 2697.d

副本放置跨故障域

理解等级:未标注

副本放在哪里,决定可用性和网络代价。三个副本分放三个机架最安全、读取能用满多机架带宽,但每次写都要跨机架传输;全放在同一机架写得快,可一旦机架交换机或电源故障,数据就不可用;两个副本放同一机架、第三个放另一机架,写入成本低,又能扛住单机架故障,是 HDFS 默认策略。前提是集群登记了机架位置。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《云计算:从基础架构到最佳实践》第11章《分布式云存储》(源文件:_epub-src/OEBPS/Text/part0019_split_002.html) - 结论依据:原文说明副本存放位置严重影响吞吐与可靠性,原则为同机架通信优于跨机架、两个以上机架同时失效概率远低于一个机架;比较三副本分放三机架(读带宽好、最安全但写成本高)、同机架三节点(跨机架流量小但机架故障即不可用)、两副本同机架加一副本相邻机架(推荐、默认)。 - 原始内容:因此在HDFS中数据块副本存放位置的选择非常重要,稍有不慎就会严重影响整个集群的吞吐量与可靠性。……(3)两个以上机架同时失效的可能性远远低于一个机架失效的可能性。……但缺点是写入时成本比较高,需要在不同的机架间进行数据交换,增加了写的时间。……并且安全系数比较低,一旦接入交换机、机架本身出现故障,会造成数据不可用。……这种方式是推荐方式,也是HDFS默认的数据块复制策略。