知识卡片

结构图卡 · 2369.e.1

HDFS三副本放置策略:机架感知的可靠性与性能权衡

理解等级:未标注

副本该放在哪些节点上,不是随机决定的,而是要结合集群的物理拓扑结构(多个机架,每个机架内若干节点,机架内通信走内部交换机延迟低,跨机架通信要经多层交换机延迟更高;同机架节点还共享电源、交换机等资源,因此同时故障的概率比跨机架节点高得多)来权衡两个互相牵制的目标:写性能(副本越集中在同一机架,网络传输开销越小,写得越快)和可靠性(副本越分散到不同机架,越不容易被一次机架级故障(如断电、交换机故障)同时打掉全部副本)。HDFS默认三副本策略是这两个目标的一个具体折中:第一个副本放在离写入方最近的位置——如果客户端本身就运行在某个DataNode上(如计算任务与数据同机部署),第一副本就直接落在这个本地DataNode;如果客户端是外部程序(如通过命令行上传文件),则随机挑一个DataNode作为第一副本节点。第二、第三副本则统一放到另一个机架的不同DataNode上——放在同一个不同机架里,是为了让这两份副本在跨机架网络传输上只需要发生一次(副本二和副本三之间的同步不用再跨机架),同时又保证即使第一副本所在机架整体故障,另一机架的两份副本仍然存活。如果副本数大于3,多出来的副本会随机分布到其他节点,进一步分散风险。可迁移启发:设计任何有多份冗余的分布式存储策略时,”故障域”(什么样的物理/网络边界内的资源可能同时失效)是决定副本该分散到什么粒度的关键变量,副本策略的目标不是简单地”越分散越好”,而是用最少的跨故障域传输次数换取”绝大多数常见故障场景不会导致数据整体丢失”的保证。

结构图:

flowchart TB
  A["HDFS三副本放置策略<br/>(基于机架感知)"]
  A --> R1["副本1<br/>客户端同节点(计算与数据同机部署)<br/>或随机选一节点(外部写入场景)"]
  A --> R2["副本2<br/>另一机架的某DataNode"]
  A --> R3["副本3<br/>与副本2同机架的不同DataNode"]
  R2 -.->|"同机架,跨机架同步只需一次"| R3
这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《大数据技术体系详解:原理、架构与实践》第6章《分布式文件系统》之"6.4.2 副本放置策略"(源文件:_epub-src/OEBPS/text00044.html) - 结论依据:原文说明"客户端与DataNode同节点……第一个副本写到同节点的DataNode上,另外两个副本写到另一个相同机架的不同DataNode上;客户端与DataNode不同节点……HDFS会随机选择一个DataNode作为第一个副本放置节点,其他两个副本写到另一个相同机架的不同DataNode上……相同机架内部的节点通常'绑定'在一起,多种资源可能是共享的,比如内部交换机,电源插座等,因此它们同时不可用的概率要比不同机架节点高很多",直接支撑本卡结构图与权衡结论。 - 原始内容:一个良好的副本放置策略能权衡写性能和可靠性两个因素,在保证写性能较优的情况下,尽可能提高数据的可靠性。