返回主题:分布式存储实现

知识卡片

结构图卡

TFS元数据与数据分工

理解等级:未标注

TFS(Taobao File System)面对的核心问题是海量非结构化小文件的存储与快速定位,架构上 把”谁管理元数据”和”谁存数据”彻底分开。NameServer只负责元数据管理:以数据块(block, 通常64MB)为单位组织数据,把多个小文件打包进同一个block并建索引以便快速定位,每个 block有全局唯一编号(block id,由NameServer分配创建),并维护block到DataServer的 映射关系;这个设计的关键取舍是所有元信息只存在NameServer内存里、不做持久化,靠 DataServer启动时上报自己拥有的block信息来重建映射表,用”重启后重新收集”换取运行时 极低的元数据访问延迟。DataServer只负责实际存储:每个block内的文件有一个block内唯一 的file id(由DataServer在存储时分配),block id和file id组成的二元组唯一定位集群里 任意一个文件——这个双层编号设计把”定位到哪个block”和”block内定位到哪个文件”拆成两级 索引,避免用一个全局扁平的文件名空间去管理数十亿量级的小文件。为保证服务不中断, NameServer按HA方式部署:两台NameServer共享一个虚拟IP,主服务器持有该IP并把block 修改信息同步给备机,独立的HA agent监控主备状态,主机故障时自动把IP切到备机接管服务。

结构图:

flowchart TD
    A[NameServer: 只管元数据, 不持久化] --> B[block id + block到DataServer映射表]
    C[DataServer: 存储实际数据] -->|启动上报block信息+周期心跳| A
    A -->|超时未收到心跳判定宕机| D[复制该Server上的block保证副本数]
    E[写请求] --> A
    A -->|分配可写block| C
    C -->|分配block内唯一file id| F[block id+file id二元组唯一定位文件]
    G[主NameServer] -->|共享VIP, 同步block修改信息| H[备NameServer]
    I[HA agent监控] -->|主故障时切换VIP| H
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《大数据时代的IT架构设计》第4篇《淘宝海量文件存储实践》"架构简介"及"存储机制" (源文件:_epub-src/OEBPS/text00021.html) - 结论依据:原文说明TFS以block为单位存储、block id与file id组成二元组唯一标识文件, NameServer所有元信息保存在内存不持久化、靠DataServer上报重建映射表,以及NameServer 按HA共享VIP方式部署,直接支撑本卡片的结构梳理。 - 原始内容:TFS以数据块(block)为单位存储和组织数据……每个block在集群中拥有全局唯一 的数据块编号(block id)……block中的文件拥有一个block内唯一的文件编号(file id)…… NameServer上的所有元信息都保存在内存中,并不进行持久化存储。DataServer启动后,会将 其拥有的block信息汇报给NameServer……NameServer服务部署时采用HA来避免单点故障。