知识卡片
"二叉树分库"策略:为什么按2的倍数扩容更利于迁移
对单库进行水平分库扩容时,一条实践建议是遵循”二叉树分库”策略——扩容始终以2的倍数进行(从2台扩到4台,从4台扩到8台,从8台扩到16台,以此类推),这样做的最大优点是扩容和数据迁移会更加方便。理解这个策略的价值,需要联系Redis场景下[[Redis三种路由算法的对比Hash一致性哈希分槽]]中讨论的”路由算法变化时迁移成本有多大”这个核心问题:如果路由算法是简单的hash(key) mod N,节点数N从原来的值变成任意其他值时,几乎所有历史数据的路由目标都会发生变化,需要全量迁移;但如果扩容始终严格按2倍进行,mod N到mod 2N这个特殊的数学关系,可以保证原来路由到某个节点的数据,扩容后只会分裂路由到两个确定的新节点之一(而不是被打散到任意节点),迁移时只需要按照这个确定的分裂规则把数据一分为二地搬移,而不需要重新计算全部数据的目标位置。与此配套的还有一条关于分表数量的建议:为了确保数据能够均匀落盘,分表数量应该设定为分库数量的倍数(比如库数量为2、分片数量为4;库数量为4、分片数量为8;库数量为8、分片数量为16),这样每个库内部分到的表数量始终是整数且均匀,避免出现某些库承担的表数量比其他库多、导致负载不均的情况。这两条规则合起来体现了一条设计原则:分库分表方案的可扩展性,很大程度上取决于扩容规则本身是否被设计成”可预测、影响范围有限”的形式,而不是等到真正扩容时才临时决定怎么迁移数据。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《超大流量分布式系统架构解决方案:人人都是架构师2.0》第5章《星罗棋布——分库分表方案》"5.2.4 使用Shark实现分库分表后的数据路由任务"节(源文件:OEBPS/Text/0010.xhtml)
- 结论依据:原文说明"当对单库进行水平分库时,建议大家遵循'二叉树分库'策略,即当DBA对数据库进行扩容的时候,都是以2的倍数进行扩容……采用这种分库方式的最大优点就是扩容和数据迁移会更加方便",并说明"当对单表进行水平分表时,为了确保数据能够均匀落盘,建议大家将分表数量设定为分库数量的倍数",直接支撑本卡片结论。
- 原始内容:建议大家遵循"二叉树分库"策略,即当DBA对数据库进行扩容的时候,都是以2的倍数进行扩容(比如从2台扩容到4台,从4台扩容到8台,从8台扩容到16台,以此类推),采用这种分库方式的最大优点就是扩容和数据迁移会更加方便。