主题索引
分布式存储与复制
比较 GFS、HDFS、BigTable、MongoDB、RabbitMQ 等系统的租约、写确认、副本同步、选主与脑裂处理。
来源书籍
8/8
Skill 版本:未记录(历史笔记创建时未标注版本,保留原评级与章节筛选)
类别:源码分享类(兼核对消息中间件产品实战类)
本次实际使用规则:book-notes v8(2026-09-26 v8 升级:32 张旧卡全部补齐逐字原文证据并改为普通读书笔记卡,正文压缩到 200 字内,15 张超长标题改名;按旧审查报告新增“内存映射借用页缓存”“刷盘策略定成功时点”“进度前移仍会重复”3 张卡,并给第 9 章 DLedger 卡补弃用状态与多数派边界;新建 2 张实践卡并核验官方文档;补类别清单与主题索引维护),详见 _workflow.md。
四象限结论:工程实践(高信息浓度 + 低稳定性)
评级理由:
信息浓度高——第2~9章大量剖析设计取舍与底层机制,例如CommitLog为何把所有主题消息写入同一文件以换取顺序写性能、ConsumeQueue用哈希码而非原始tag字符串换取定长可索引结构、同步/异步刷盘在性能与可靠性间的权衡、transientStorePoolEnable堆外内存读写分离机制、Broker异常/正常停止两种场景下依据Checkpoint文件回溯恢复数据的逻辑,以及第9章围绕Raft协议展开的DLedger主从选举、日志复制协议设计。这些都在讲”为什么这样设计”而非单纯的操作步骤。
稳定性偏低——全书是源码级剖析,紧密绑定RocketMQ具体版本的类名、方法名、参数默认值(如500ms异步刷盘间隔、20s长轮询超时),第10~11章监控与实战部分更是贴合特定版本API和外围生态(Spring Cloud整合、rocketmq-console),这些会随版本演进而失效。但其中的分布式消息存储引擎设计思想(顺序写+mmap+异步刷盘、日志结构存储的恢复机制、基于Raft的主从切换)本身有较强迁移价值。
综合落在”高浓度+低稳定性”象限,即工程实践——与同类型的《深入理解Kafka》《HBase原理与实践》评级一致。
| 章节号 | 章节标题 | 精读/略读 | 状态 | 卡片数 |
|---|---|---|---|---|
| 前言/序 | 前言、序、内容简介等 | 略读 | done | 0 |
| 1 | 阅读源码前的准备 | 略读 | done | 0 |
| 2 | RocketMQ路由中心NameServer | 精读 | done | 5 |
| 3 | RocketMQ消息发送 | 精读 | done | 3 |
| 4 | RocketMQ消息存储 | 精读 | done | 9 |
| 5 | RocketMQ消息消费 | 精读 | done | 6 |
| 6 | RocketMQ的ACL | 略读 | done | 0 |
| 7 | RocketMQ主从同步机制 | 精读 | done | 3 |
| 8 | RocketMQ消息轨迹 | 精读 | done | 3 |
| 9 | RocketMQ主从切换 | 精读 | done | 6 |
| 10 | RocketMQ监控 | 略读 | done | 0 |
| 11 | RocketMQ实战 | 略读 | done | 0 |
| 附录A | 参数说明 | 略读 | done | 0 |
| 附录B | RocketMQ各版本概述与升级建议 | 略读 | done | 0 |
| 序号 | 实践标题 | 实践方式 | 状态 | 关联章节 | 产出 |
|---|---|---|---|---|---|
| 1 | 核对刷盘复制组合 | 证据验证 | done | 第4、7章 | Broker 组可靠性矩阵 |
| 2 | 评估DLedger迁移风险 | 证据验证 | done | 第9章 | DLedger 现状与迁移建议 |
| 维度 | 覆盖状态 | 关联卡片标题或未覆盖理由 |
|---|---|---|
| 整体架构分层 | 已覆盖 | [[三层存储文件的职责分工]]、[[NameServer弱一致]] |
| 核心数据结构设计 | 已覆盖 | [[三层存储文件的职责分工]]、[[三级指针管理数据安全边界]]、[[组提交读写双容器分离设计]] |
| 关键算法/流程实现 | 已覆盖 | [[排序得一致重平衡]]、[[随机化超时打破选举僵局]]、[[正常与异常停止的差异化恢复策略]] |
| 并发/线程安全处理 | 已覆盖 | [[路由表读写锁的并发设计]]、[[Broker锁保顺序消费]]、[[并发消费进度取最小偏移量]] |
| 扩展点与插件机制 | 已覆盖 | [[钩子挂载消息轨迹]] |
| 性能优化手段 | 已覆盖 | [[内存映射借用页缓存]]、[[堆外内存读写分离]]、[[Future解耦同步等待]]、[[批量消息复用单条处理路径]] |
| 异常/边界情况处理 | 已覆盖 | [[故障延迟是简化熔断]]、[[进度前移仍会重复]]、[[过期文件删除的双触发机制]] |
| 版本演化/设计取舍历史 | 已覆盖 | [[分界偏移兼容旧数据]]、[[返回body偏移保兼容]];书中 DLedger 模式已在 5.5.1 弃用 |
| 维度 | 覆盖状态 | 关联卡片标题或未覆盖理由 |
|---|---|---|
| 消息模型与核心抽象 | 部分覆盖 | [[三层存储文件的职责分工]];本书以源码为主,未单列消息模型章节 |
| 协议与客户端交互机制 | 已覆盖 | [[三种发送模式的可靠性与性能权衡]]、[[路由变更非实时推送的设计取舍]] |
| 消息传输保障机制 | 已覆盖 | [[进度前移仍会重复]]、[[故障延迟是简化熔断]] |
| 持久化与可靠性设计 | 已覆盖 | [[刷盘策略定成功时点]]、[[内存映射借用页缓存]]、[[正常与异常停止的差异化恢复策略]] |
| 集群与高可用架构 | 已覆盖 | [[复制组内主从切换维持集群写能力]]、[[多数派确认的边界]]、[[新主转正前必须追平已提交数据]] |
| 网络分区/脑裂处理策略 | 部分覆盖 | [[多数派确认的边界]]、[[随机化超时打破选举僵局]];书中未单独讨论分区场景 |
| 流控与背压机制 | 部分覆盖 | [[轨迹有损不拖主链]];消费端流控只在源码流程中提及,未独立成卡 |
| 运维与故障诊断方法论 | 部分覆盖 | [[过期文件删除的双触发机制]];第10、11章监控与实战为略读 |
| 扩展与跨集群互联机制 | 未覆盖 | 全书止步于单集群主从复制与切换 |
本书从源码剖析 RocketMQ 的 NameServer、发送、存储、消费、主从同步、消息轨迹与 DLedger 主从切换;全部卡片复用既有主题:消息代理与事件日志、存储数据结构、分布式存储复制、分布式共识、服务发现、可观测性、并发与锁等,未新建主题。
| 卡片标题 | 结论 | 主题文件或原因 |
|---|---|---|
| NameServer弱一致 | 已复用 | notes/_topics/service-discovery-gateway.md、notes/_topics/consistency-models.md |
| 路由变更非实时推送的设计取舍 | 已复用 | notes/_topics/service-discovery-gateway.md |
| 心跳检测的三级时间窗口 | 已复用 | notes/_topics/service-discovery-gateway.md、notes/_topics/faults-partial-failure-clocks.md |
| 路由表读写锁的并发设计 | 已复用 | notes/_topics/concurrency-tasks-sync.md |
| JVM钩子函数实现优雅停机 | 已复用 | notes/_topics/resource-ownership-lifetime.md |
| 三种发送模式的可靠性与性能权衡 | 已复用 | notes/_topics/message-brokers-event-logs.md |
| 故障延迟是简化熔断 | 已复用 | notes/_topics/overload-protection-degradation.md、notes/_topics/load-balancing.md |
| 批量消息复用单条处理路径 | 已复用 | notes/_topics/message-brokers-event-logs.md |
| 三层存储文件的职责分工 | 已复用 | notes/_topics/message-brokers-event-logs.md、notes/_topics/storage-data-structures.md |
| 组提交读写双容器分离设计 | 已复用 | notes/_topics/concurrency-tasks-sync.md、notes/_topics/storage-data-structures.md |
| 三级指针管理数据安全边界 | 已复用 | notes/_topics/storage-data-structures.md |
| 正常与异常停止的差异化恢复策略 | 已复用 | notes/_topics/transaction-recovery-logging.md |
| 过期文件删除的双触发机制 | 已复用 | notes/_topics/storage-data-structures.md |
| Future解耦同步等待 | 已复用 | notes/_topics/server-io-concurrency-models.md、notes/_topics/distributed-storage-replication.md |
| 堆外内存读写分离 | 已复用 | notes/_topics/storage-data-structures.md |
| 内存映射借用页缓存 | 已复用 | notes/_topics/storage-data-structures.md |
| 刷盘策略定成功时点 | 已复用 | notes/_topics/message-brokers-event-logs.md、notes/_topics/distributed-storage-replication.md |
| 并发消费进度取最小偏移量 | 已复用 | notes/_topics/message-brokers-event-logs.md |
| 排序得一致重平衡 | 已复用 | notes/_topics/message-brokers-event-logs.md、notes/_topics/distributed-consensus.md |
| Broker锁保顺序消费 | 已复用 | notes/_topics/message-brokers-event-logs.md、notes/_topics/distributed-lock-id.md |
| 顺序消费按时长而非条数切分任务 | 已复用 | notes/_topics/thread-pool-capacity-overload.md |
| 消息过滤的两级粗筛精筛设计 | 已复用 | notes/_topics/message-brokers-event-logs.md |
| 进度前移仍会重复 | 已复用 | notes/_topics/message-brokers-event-logs.md、notes/_topics/domain-events-eventual-consistency.md |
| 偏移量判定复制完成 | 已复用 | notes/_topics/distributed-storage-replication.md |
| 按主库繁忙读从库 | 已复用 | notes/_topics/load-balancing.md、notes/_topics/distributed-storage-replication.md |
| 空包心跳保活连接 | 已复用 | notes/_topics/tcp-connection-lifecycle.md |
| 钩子挂载消息轨迹 | 已复用 | notes/_topics/logging-observability.md |
| 轨迹有损不拖主链 | 已复用 | notes/_topics/overload-protection-degradation.md、notes/_topics/logging-observability.md |
| 轨迹存为普通消息 | 已复用 | notes/_topics/message-brokers-event-logs.md、notes/_topics/logging-observability.md |
| 复制组内主从切换维持集群写能力 | 已复用 | notes/_topics/high-availability-architecture.md |
| 随机化超时打破选举僵局 | 已复用 | notes/_topics/distributed-consensus.md |
| 多数派确认的边界 | 已复用 | notes/_topics/distributed-storage-replication.md、notes/_topics/distributed-consensus.md |
| 分界偏移兼容旧数据 | 已复用 | notes/_topics/change-release-safety.md |
| 返回body偏移保兼容 | 已复用 | notes/_topics/storage-data-structures.md |
| 新主转正前必须追平已提交数据 | 已复用 | notes/_topics/distributed-consensus.md、notes/_topics/high-availability-architecture.md |
从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。
主题索引
比较 GFS、HDFS、BigTable、MongoDB、RabbitMQ 等系统的租约、写确认、副本同步、选主与脑裂处理。
主题索引
比较主备、主从、集群、分区与异地多活等高可用架构的适用范围、数据同步与代价。
主题索引
比较限流、减载、退避重试、分级依赖与防御成本的过载应对手段。
主题索引
比较分布式共识、领导者选举、副本数量与一致性模型的可靠性取舍。
主题索引
比较变更速度、渐进发布、紧急发布与回滚边界的工程控制。
主题索引
比较服务发现范式、注册中心的 CAP 取舍与实现路线、网关与 BFF,以及地域与区域的流量边界。
主题索引
比较领域事件、消息中间件、事件总线与数据对账在跨聚合、跨服务一致性上的做法与取舍。
主题索引
比较进程/线程并发模型、I/O 多路复用、Reactor 与 Proactor 等单机高性能设计。
主题索引
比较线程/任务抽象、异步结果传递、原子与同步手段的语义差异和生命周期约束。
主题索引
Trace/Span 模型、标识与上下文传播、采样取舍、OpenTelemetry 与采集器管道。
主题索引
比较顺序一致性、线性一致性、外部一致性等一致性模型,以及 CAP、弱 CAP、HAT、PACELC 对系统取舍的刻画。
主题索引
比较负载均衡的分层组合方式与各类分配算法的取舍。
主题索引
跨进程互斥的分布式锁实现与取舍,以及全局唯一 ID 的生成方案和分布式计数。
主题索引
比较日志段与索引、页缓存与零拷贝、批次与压缩、保留清理与压实,以及副本放置对读写路径与堆积的影响。
主题索引
比较故障与失效、部分失效、网络与超时的不确定性、时钟漂移与进程暂停,以及系统模型如何界定这些假设。
主题索引
比较布隆过滤器、跳表、LSM 树、Merkle 树、Cuckoo 哈希等在存储系统中以空间或精度换效率的数据结构。
主题索引
比较至少一次、最多一次、恰好一次与幂等的组合,确认、重投、死信与补偿怎样把「不丢不重」落成可实现的条件。
主题索引
比较交换器与绑定、主题与标签过滤、订阅与广播扇出,以及 vhost、联邦与协议网关等多租户和跨集群寻址方式。
主题索引
异步 RPC 的收发分离、请求标识关联响应、受理与业务完成的区别,业务线程与 IO 线程的边界,异步是否真的省掉等待,以及上下文在异步边界上的传递与丢失。
主题索引
比较 Commit Logging、WAL、Shadow Paging 等保证原子性与持久性的日志与恢复机制。
主题索引
预写日志与 redo/undo 的分工,检查点与日志截断,崩溃恢复的重做与回滚阶段,以及不同存储引擎在提交、刷盘与恢复时间上的取舍。
主题索引
互斥锁与读写锁的适用比例、信号量与 CountDownLatch 的语义差别、条件等待为什么必须持锁并循环复查、锁顺序与可重入导致的死锁,以及粗粒度锁换简单性与细粒度锁换并发的代价。
主题索引
比较线程池/工作队列如何设定容量边界、按任务类型配置线程以及越界后的拒绝、丢弃与背压策略。
主题索引
比较不同语言与框架如何表达独占/共享所有权、释放时机和作用域退出清理。
主题索引
TCP 连接的建立、状态迁移、保活与关闭,以及长连接、连接池和相关套接字参数的工程配置。
主题索引
拉得动吗:推模式与拉模式、长轮询、预取与批量、流控与反压、积压阈值与监控、扩缩容与优先级。
主题索引
比较全序与分区内有序的边界、序号与单写者怎样维持顺序,以及延时消息、时间轮和迟到事件的处理方式。
主题索引
消费到哪:位移为什么要持久化、提交的是下一位、同步与异步提交的取舍、重置与回溯、位移保留与清理、滞后量怎么算。
主题索引
谁在消费:消费组与队列的区别、竞争消费者、分区分配策略、再均衡的四阶段与代价、并行度受分区数约束。