知识卡片

元数据与数据分离的两级寻址

专业/工作 · 1166.j

内容

盘古(见[[盘古用统一软件底座替代多套硬件阵列]],和它的同源设计GFS、HDFS)把”知道数据 在哪”和”存放数据本身”拆成两个职责完全独立的 角色:PanguMaster只保存元数据(文件被切成了哪些分片、分片在哪些节点上),ChunkServer只 存放实际的数据分片。一次读取要经过两级寻址:先拿对象路径向Master换取元数据,再拿元数据里 记录的chunkID直接和对应的ChunkServer点对点通信取数据,Master全程不参与数据传输。这样 设计的好处是元数据规模远小于数据本身,可以整体放在内存里做到低延迟响应,而数据这一侧则可以 随着容量增长无限横向扩展ChunkServer,两条扩展路径互不干扰。

参考来源

《混合云架构》第2章《阿里云基础技术》2.4 存储