知识卡片

集中式元数据服务器是分布式存储的共同软肋

专业/工作 · 239

内容

GPFS、iRODS、HDFS、Lustre等主流分布式文件系统尽管实现各异,但都依赖某一台服务器(NameNode、iCAT、MDS)维护文件名到物理位置的索引,所有客户端的读写请求都要先经过它,这就注定它们要么有单点故障风险,要么在大规模并发下遇到性能瓶颈,也普遍更适合存少量大文件而非海量小文件。这类系统的共性缺陷从反面印证了[[CRUSH算法取代集中式元数据表]]这种”计算寻址”方案的价值所在。发散:几乎所有分布式系统的扩展性瓶颈最终都能归结到”有没有一个绕不开的中心节点”。

参考来源

《Ceph分布式存储学习指南》第1章《Ceph存储介绍》