知识卡片

普通读书笔记卡 · 1213.i.1.j

哈希槽与副本分散

理解等级:中级

Redis 集群模式:每个节点存部分数据,有多个主节点、每个主节点可有多个从节点,相当于把多个主从集群连在一起,为每个分片提供高可用;用于海量数据、高并发场景,只有几 GB 数据就没必要。早期靠 Twemproxy、Codis 等代理中间件用哈希、一致性哈希或取模分片,官方集群出现后逐渐弃用,但原理相同。

哈希槽(Hash Slot):集群固定 16384 个槽,每个节点负责一部分(如 3 个节点分别负责 0~5500、5501~11000、11001~16384)。读写时计算 CRC16(Key) % 16384,例如结果为 6000 就交给节点 2。作者认为这种做法值得在其他设计场景中借鉴——用固定数量的逻辑槽隔离数据与物理节点,增减节点只需迁移槽。

Kafka 的高可用:消息队列有点对点(一条消息只被一个消费者消费)与订阅(订阅主题的消费者都能收到)两种模式。Kafka 每秒可处理数十万消息、延迟最低几毫秒,支持热扩展、持久化与备份、部分节点故障不影响使用。集群借助 Zookeeper 存元数据;主题分为多个分区,通过分区副本保证分区高可用:例如 3 个分区、每个 3 个副本,一个 Leader 两个 Follower,生产者写 Leader,再由 Leader 复制给 Follower,Leader 故障时选举 Follower 接替。

关键原则——副本要分散:如果某分区的 3 个副本都放在 Broker1 上,Broker1 宕机该分区消息就全部丢失,所以 Kafka 会尽量把副本均匀分散到各个 Broker。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《架构基础:从需求到架构》第02章《第2章 大型互联网架构设计的四大原则》2.1.8 Redis高可用架构(集群模式);2.1.9 Kafka高可用架构(源文件:extracted/架构基础:从需求到架构/_epub-src/OEBPS/Text/Chapter_2_1.xhtml,来源项目 book-sources) - 结论依据:2.1.8节介绍Redis集群模式及固定16384个哈希槽、CRC16取模的分片方式;2.1.9节介绍消息队列两种模式、Kafka优势与分区副本机制,并强调副本必须分散到不同Broker。 - 原始内容:Redis集群使用哈希槽(Hash Slot)的方式来实现数据分片存储,值得在其他设计场景中借鉴。