知识卡片
跳跃一致性哈希:让集群扩容不必先改随机分布再改回来
普通的哈希分布(哈希值对segment实例数量取模)有个致命的副作用: 一旦集群扩容、segment实例数量变了,取模的分母变了,几乎所有 数据原本”该落在哪个实例”的计算结果都会跟着变——这意味着几乎 全部数据都要重新搬迁,代价极高。Greenplum早期应对扩容的办法 因此显得很笨重:得先把哈希分布的表统统改成随机分布,重启数据库, 再把哈希分布重新加回每张表、触发一次完整的数据重分布,过程中 还容易在修改元数据表时遇到瓶颈。跳跃一致性哈希算法解决的正是 这个”扩容代价过高”的问题:它不是简单取模,而是用一个概率函数 反复迭代来计算某个键最终该落在哪个”桶”(segment)里,这个计算 过程本身具有一致性哈希的核心性质——集群实例数量增加时,只有 一部分数据需要迁移到新增的实例上,原本就该留在原处的数据不会 被迫重算到别的地方去。有了这个算法,扩容不再需要”先退化成随机 分布、再重建哈希分布”这套迂回流程,也不再是所有数据都要重分布, 而是精确计算出哪些数据真正需要挪动。这个案例说明了”选对底层 算法”能直接消除一整套原本必需的工程绕路——问题的根源从来不是 “扩容麻烦”这个表面现象,而是”哈希取模”这个具体实现方式本身 对扩容不友好。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《深入浅出Greenplum分布式数据库:原理、架构和代码分析》
第7章"分布式存储的实现"7.1.2节"随机分布"(源文件:
_epub-src/EPUB/xhtml/chapter13.xhtml)
- 结论依据:原文明确"在Greenplum 6.0以前,使用gpexpand时需要
先增加计算节点,然后将哈希分布的表改成随机分布的表,重启
数据库,将哈希分布重新添加回每个表,实现数据的重分布。这样
的过程不太友好……Greenplum针对这个情况实现了一致性哈希算法……
有了这个算法之后,数据的重分布不再需要把分布策略从哈希分布
改变成随机分布,而且不是所有的数据都需要重分布",直接说明
一致性哈希算法解决的具体扩容痛点。
- 原始内容:有了这个算法之后,数据的重分布不再需要把分布策略
从哈希分布改变成随机分布,而且不是所有的数据都需要重分布。