知识卡片
奇偶块编号避免跨机房撞号
TFS的多机房容灾靠在多个机房各部署一套完整的物理集群、彼此同步数据构成一个逻辑集群 来实现,但”怎么同步”取决于是否所有机房都需要接受写入。典型部署是一主多备:主集群 同时提供读写服务,备集群只提供读服务,主集群上每次文件操作(写、删除)都由对应的 DataServer记录成同步日志,日志包含block id、file id和操作类型,再由后台线程重放 日志把操作应用到备集群,让主备数据保持一致——这种模式简单,但备集群完全不能承担写 流量。如果多个机房的应用都要求能在本机房直接写(异地多活场景),就必须换成多个主集群 对等部署,每个物理集群都能同时对外提供读写服务并把写操作同步给其他集群。这里天然会 产生一个问题:如果两个主集群同时给不同文件分配了同一个block id,会造成块编号冲突。TFS的 解法是按规则给各集群分配互不相交的编号,避免这种块编号冲突:给 每个主集群预先分配互不相交的block id区间,例如两个主集群场景下,1号集群只分配奇数号 block id,2号集群只分配偶数号block id,奇数block的写操作由1号集群单向同步给2号集群, 偶数block的写操作反向同步。此规则只处理编号分配冲突,不自动保证同步无延迟、数据无丢失 或所有跨机房操作都没有冲突;这些性质还需按复制协议和故障条件验证。
结构图:
flowchart TD
A[多机房容灾部署方式] --> B[一主多备: 主集群读写, 备集群只读]
B --> B1[DataServer记录同步日志<br/>block id/file id/操作类型]
B1 --> B2[后台线程重放日志到备集群]
A --> C[多主对等: 各集群都可读写]
C --> C1[1号集群只分配奇数block id]
C --> C2[2号集群只分配偶数block id]
C1 -->|奇数block单向同步| C2
C2 -->|偶数block单向同步| C1
C1 -.编号集合互不相交, 避免同号分配.-> C2
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《大数据时代的IT架构设计》第4篇《淘宝海量文件存储实践》"机房容灾"(源文件:
_epub-src/OEBPS/text00021.html)
- 结论依据:原文说明一主多备模式下主集群记录同步日志、由DataServer后台线程重放到
备集群,多主对等模式下为避免写冲突按规则分配block id(1号集群分配奇数、2号集群
分配偶数),并按奇偶分别做单向同步,直接支撑本卡片的结构梳理。
- 原始内容:典型的逻辑集群部署方式为一主多备……主集群上存储的所有文件都会由对应的
DataServer记录同步日志……并由DataServer的后台线程重放日志……为了避免多个主集群
同时写一个block造成的写冲突,每个主集群按照指定的规则分配block id用于写操作。以
两个主集群为例,1号主集群在写文件时只分配奇数号的block id,而2号主集群在写文件时
只分配偶数号的block id。