知识卡片
哈希槽与副本分散
Redis 集群模式:每个节点存部分数据,有多个主节点、每个主节点可有多个从节点,相当于把多个主从集群连在一起,为每个分片提供高可用;用于海量数据、高并发场景,只有几 GB 数据就没必要。早期靠 Twemproxy、Codis 等代理中间件用哈希、一致性哈希或取模分片,官方集群出现后逐渐弃用,但原理相同。
哈希槽(Hash Slot):集群固定 16384 个槽,每个节点负责一部分(如 3 个节点分别负责 0~5500、5501~11000、11001~16384)。读写时计算 CRC16(Key) % 16384,例如结果为 6000 就交给节点 2。作者认为这种做法值得在其他设计场景中借鉴——用固定数量的逻辑槽隔离数据与物理节点,增减节点只需迁移槽。
Kafka 的高可用:消息队列有点对点(一条消息只被一个消费者消费)与订阅(订阅主题的消费者都能收到)两种模式。Kafka 每秒可处理数十万消息、延迟最低几毫秒,支持热扩展、持久化与备份、部分节点故障不影响使用。集群借助 Zookeeper 存元数据;主题分为多个分区,通过分区副本保证分区高可用:例如 3 个分区、每个 3 个副本,一个 Leader 两个 Follower,生产者写 Leader,再由 Leader 复制给 Follower,Leader 故障时选举 Follower 接替。
关键原则——副本要分散:如果某分区的 3 个副本都放在 Broker1 上,Broker1 宕机该分区消息就全部丢失,所以 Kafka 会尽量把副本均匀分散到各个 Broker。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第2章 大型互联网架构设计的四大原则 · 查看原书依据
Redis集群使用哈希槽(Hash Slot)的方式来实现数据分片存储,值得在其他设计场景中借鉴。