知识卡片
TFS元数据与数据分工
TFS(Taobao File System)面对的核心问题是海量非结构化小文件的存储与快速定位,架构上 把”谁管理元数据”和”谁存数据”彻底分开。NameServer只负责元数据管理:以数据块(block, 通常64MB)为单位组织数据,把多个小文件打包进同一个block并建索引以便快速定位,每个 block有全局唯一编号(block id,由NameServer分配创建),并维护block到DataServer的 映射关系;这个设计的关键取舍是所有元信息只存在NameServer内存里、不做持久化,靠 DataServer启动时上报自己拥有的block信息来重建映射表,用”重启后重新收集”换取运行时 极低的元数据访问延迟。DataServer只负责实际存储:每个block内的文件有一个block内唯一 的file id(由DataServer在存储时分配),block id和file id组成的二元组唯一定位集群里 任意一个文件——这个双层编号设计把”定位到哪个block”和”block内定位到哪个文件”拆成两级 索引,避免用一个全局扁平的文件名空间去管理数十亿量级的小文件。为保证服务不中断, NameServer按HA方式部署:两台NameServer共享一个虚拟IP,主服务器持有该IP并把block 修改信息同步给备机,独立的HA agent监控主备状态,主机故障时自动把IP切到备机接管服务。
结构图:
flowchart TD
A[NameServer: 只管元数据, 不持久化] --> B[block id + block到DataServer映射表]
C[DataServer: 存储实际数据] -->|启动上报block信息+周期心跳| A
A -->|超时未收到心跳判定宕机| D[复制该Server上的block保证副本数]
E[写请求] --> A
A -->|分配可写block| C
C -->|分配block内唯一file id| F[block id+file id二元组唯一定位文件]
G[主NameServer] -->|共享VIP, 同步block修改信息| H[备NameServer]
I[HA agent监控] -->|主故障时切换VIP| H
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《大数据时代的IT架构设计》第4篇《淘宝海量文件存储实践》"架构简介"及"存储机制"
(源文件:_epub-src/OEBPS/text00021.html)
- 结论依据:原文说明TFS以block为单位存储、block id与file id组成二元组唯一标识文件,
NameServer所有元信息保存在内存不持久化、靠DataServer上报重建映射表,以及NameServer
按HA共享VIP方式部署,直接支撑本卡片的结构梳理。
- 原始内容:TFS以数据块(block)为单位存储和组织数据……每个block在集群中拥有全局唯一
的数据块编号(block id)……block中的文件拥有一个block内唯一的文件编号(file id)……
NameServer上的所有元信息都保存在内存中,并不进行持久化存储。DataServer启动后,会将
其拥有的block信息汇报给NameServer……NameServer服务部署时采用HA来避免单点故障。