知识卡片
CRUSH再平衡只移动必要的数据量
内容
往一个有2000个OSD的集群里新增20个OSD,再平衡时只有大约1%的数据需要挪动到新盘上,其余数据留在原地不动,而且所有现存OSD并行参与搬运,因此这个过程很快;节点故障后的恢复同理,CRUSH会尽量选择”移动最少数据”的方式重建新的分布,而不是推倒重算整个集群的数据布局。发散:这就是一致性哈希要解决的经典问题——普通哈希取模在节点增减时会让几乎所有数据的归属都发生变化,而设计良好的分布函数应该保证”改变的范围和新增/移除的节点规模成正比”,CRUSH本质上就是这类分布函数在存储场景下的实现。
参考来源
《Ceph分布式存储学习指南》第4章《Ceph内部构件》