主题索引
分布式存储与复制
比较 GFS、HDFS、BigTable、MongoDB、RabbitMQ 等系统的租约、写确认、副本同步、选主与脑裂处理。
来源书籍
6/8
_workflow.md。信息浓度:高。全书虽然夹杂大量源码逐行走读和控制台操作步骤,但主线是围绕 “为什么这样设计”展开的:Broker 存储一章讲透了 Page Cache、零拷贝、内存映射如何 支撑高吞吐写入,以及同步/异步刷盘、同步/异步复制在可靠性与性能之间的权衡;生产者 一章给出了三层容错设计(同步/异步重试→发送延迟容错选 Broker→主从复制可靠性的 6 种故障场景分析);事务消息一章讲清了 Half 消息 + 本地事务 + Broker 回查的分布式 事务实现思路。这些都是解释权衡取舍和底层机制的高浓度内容,而非单纯的操作步骤罗列。
稳定性:低。书中大量内容绑定 RocketMQ 4.2.0~4.7.0 具体版本的类名(如
CommitLog、BrokerController)、方法名、源码路径、配置项默认值,以及 RocketMQ
Console 的具体点击流程截图。这些实现细节会随 RocketMQ 版本演进而过时(例如 5.0
之后引入的 POP 消费模式等新架构本书未涉及),属于典型的低稳定性内容,即使其中
提炼出的机制性原理(Page Cache 加速、读写分离、两阶段事务回查)可以迁移到其他
消息中间件,落地讲解本身仍是强版本绑定的。
综合落在”高浓度 + 低稳定性”象限,评级为工程实践。
命中”消息中间件产品实战类”:全书以 RocketMQ 这一具体消息中间件产品的架构、生产 消费协议、持久化设计、集群部署与企业落地实践为主线,符合该类别判定标准。
| 章节号 | 章节标题 | 精读/略读 | 状态 | 卡片数 |
|---|---|---|---|---|
| 1 | RocketMQ综述 | 精读 | done | 4 |
| 2 | RocketMQ的生产者原理和最佳实践 | 精读 | done | 5 |
| 3 | RocketMQ的消费流程和最佳实践 | 精读 | done | 7 |
| 4 | RocketMQ架构和部署最佳实践 | 精读 | done | 2 |
| 5 | Namesrv | 精读 | done | 3 |
| 6 | Broker存储机制 | 精读 | done | 7 |
| 7 | RocketMQ特性——事务消息与延迟消息机制 | 精读 | done | 4 |
| 8 | RocketMQ源代码阅读 | 略读 | done | 0 |
| 9 | RocketMQ企业最佳实践 | 精读 | done | 3 |
| 附录 | 核心配置项与Prometheus指标说明 | 略读 | done | 0 |
划分理由: - 第1章:虽整体偏入门介绍,但削峰填谷/程序解耦/异步处理/数据最终一致性等消息队列 核心概念均有实质性讲解,触发”概念类内容强制生卡”规则,精读。 - 第2、3章:生产者/消费者的容错机制、消费模式、Rebalance、Pull/Push 对比等均涉及 设计权衡,精读。 - 第4章:架构与部署拓扑、同步/异步复制刷盘的取舍,精读。 - 第5章:Namesrv 为何不用 ZooKeeper、路由注册/剔除机制,精读。 - 第6章:存储机制全书浓度最高的一章(Page Cache、零拷贝、刷盘策略),精读。 - 第7章:事务消息/延迟消息的实现原理,精读。 - 第8章:主要是个人读源码方法论心得 + 一次纯代码跟踪范例,不涉及 RocketMQ 概念 或架构原理的实质性讲解,略读。 - 第9章:含企业选型决策框架(稳定性/运维成本/成本/性能四维度)和监控报警架构设计, 但大部分篇幅是 Console 点击步骤,精读时仅提炼决策性内容。 - 附录:纯配置项/指标参数表,无原理讨论,略读。
| 术语名 | 出现章节 | 一句话语境 |
|---|---|---|
| DLedger | 第1、4章 | 书中仅提及RocketMQ 4.7.0基于DLedger实现了新的副本机制(可支持自动选主),未展开讲解其原理,本书讲解的4.2.0架构仍是静态Master-Slave配置 |
| 标题 | 类型 | 出现章节 | 一句话语境 |
|---|
| 序号 | 实践标题 | 实践方式 | 状态 | 关联章节 | 产出 |
|---|---|---|---|---|---|
| 1 | 验证顺序消费失败时是否原地阻塞而非跳过 | 真实任务 | done | 顺序消费相关章节 | 消费日志时间线记录 |
| 2 | 实测延迟消息用换主题隐身的真实投递时间误差 | 实现深读 | done | 延迟消息相关章节 | 延迟级别对照表 |
| 003 | 选择复制与刷盘可靠性组合 | 真实任务 | done | 部署拓扑、刷盘复制 | 可靠性威胁模型与配置建议 |
| 004 | 设计消费者幂等与死信补偿方案 | 真实任务 | done | 消费重试、死信、幂等 | 幂等键与 DLQ 处理流程 |
| 005 | 制定集群迁移与订阅一致性检查表 | 真实任务 | done | 企业实践、订阅关系 | 三阶段切流与环境隔离清单 |
| 维度 | 覆盖状态 | 关联卡片标题或未覆盖理由 |
|---|---|---|
| 消息模型与核心抽象 | 已覆盖 | 《消息队列的本质是进程间通信方式》《顺序粒度换并发》等章节均有实质讲解 |
| 协议与客户端交互机制 | 补充生成 | 《opaque认领异步响应》,定向检索发现书中对Netty异步请求/响应关联机制有实质讲解,原判读漏判 |
| 消息传输保障机制 | 已覆盖 | 《生产者重试与延迟规避》《幂等交给使用方》《重试死信机制承认消费失败是常态》 |
| 持久化与可靠性设计 | 已覆盖 | 第6章全部卡片(顺序写PageCache、读写分离、过期删除、abort恢复等) |
| 集群与高可用架构 | 部分覆盖 | 数据同步部分已覆盖(《同步复制与异步复制的可靠性权衡》《部署拓扑的可靠性阶梯》);选主与自动故障转移机制未覆盖——书中讲解的4.2.0版本架构是静态Master-Slave配置,没有自动选主,Master宕机后只能由消费者切换到Slave读取,不能自动切换写入;能实现自动选主的DLedger机制书中仅提及未展开(见待关联术语) |
| 网络分区/脑裂处理策略 | 未覆盖 | 全书检索无相关实质讨论;Namesrv设计上放弃了强一致协调(各节点不通信、无选主),这类架构下”脑裂”本身不构成书中讨论的问题,书中也未展开讨论网络分区下的数据一致性权衡 |
| 流控与背压机制 | 补充生成 | 《生产消费两端流控》,定向检索发现书中对Page Cache繁忙快速失败和消费端拉取限流有实质讲解,原判读漏判 |
| 运维与故障诊断方法论 | 已覆盖 | 《无界队列废掉最大线程》《订阅不一致抢消费》《三阶段迁移集群》 |
| 扩展与跨集群互联机制 | 未覆盖 | 全书检索无联邦、镜像、跨数据中心同步等相关实质内容,书中架构范围止步于单集群内的Master-Slave部署 |
本书以 RocketMQ 4.2⁄4.3 为基础讲生产、消费、存储、Namesrv 与事务/延迟消息;全部卡片复用既有主题:消息代理与事件日志、分布式事务、存储数据结构、分布式存储复制、服务发现、背压与过载保护、线程池容量、变更发布安全等,未新建主题。
| 卡片标题 | 结论 | 主题文件或原因 |
|---|---|---|
| 消息队列的本质是进程间通信方式 | 已复用 | notes/_topics/message-brokers-event-logs.md |
| 削峰填谷用排队换资源规模 | 已复用 | notes/_topics/message-brokers-event-logs.md、notes/_topics/overload-protection-degradation.md |
| 消息队列用异步中转实现系统解耦 | 已复用 | notes/_topics/message-brokers-event-logs.md |
| 消息队列保障跨系统最终一致性 | 已复用 | notes/_topics/message-brokers-event-logs.md、notes/_topics/domain-events-eventual-consistency.md |
| 生产者重试与延迟规避 | 已复用 | notes/_topics/message-brokers-event-logs.md、notes/_topics/load-balancing.md |
| 同步复制与异步复制的可靠性权衡 | 已复用 | notes/_topics/message-brokers-event-logs.md、notes/_topics/distributed-storage-replication.md |
| Half消息加回查 | 已复用 | notes/_topics/message-brokers-event-logs.md、notes/_topics/distributed-transactions.md |
| 顺序粒度换并发 | 已复用 | notes/_topics/message-brokers-event-logs.md、notes/_topics/distributed-data-sharding.md |
| opaque认领异步响应 | 已复用 | notes/_topics/rpc-rest-api.md |
| 消费模式定进度存放 | 已复用 | notes/_topics/message-brokers-event-logs.md |
| 重试死信机制承认消费失败是常态 | 已复用 | notes/_topics/message-brokers-event-logs.md |
| 排序得一致分配视图 | 已复用 | notes/_topics/message-brokers-event-logs.md、notes/_topics/distributed-consensus.md |
| Push本质是Pull | 已复用 | notes/_topics/message-brokers-event-logs.md |
| 顺序消费原地重试 | 已复用 | notes/_topics/message-brokers-event-logs.md |
| Tag两级过滤 | 已复用 | notes/_topics/message-brokers-event-logs.md |
| 幂等交给使用方 | 已复用 | notes/_topics/message-brokers-event-logs.md、notes/_topics/domain-events-eventual-consistency.md |
| 部署拓扑的可靠性阶梯 | 已复用 | notes/_topics/distributed-storage-replication.md、notes/_topics/high-availability-architecture.md |
| 复制与刷盘正交 | 已复用 | notes/_topics/distributed-storage-replication.md |
| 轻量Namesrv替代ZK | 已复用 | notes/_topics/service-discovery-gateway.md |
| Namesrv节点互不通信 | 已复用 | notes/_topics/service-discovery-gateway.md、notes/_topics/consistency-models.md |
| Broker下线双重感知 | 已复用 | notes/_topics/service-discovery-gateway.md、notes/_topics/faults-partial-failure-clocks.md |
| 顺序写加PageCache | 已复用 | notes/_topics/message-brokers-event-logs.md、notes/_topics/storage-data-structures.md |
| 直接内存读写分离 | 已复用 | notes/_topics/storage-data-structures.md |
| 主从读写分离靠内存压力动态触发 | 已复用 | notes/_topics/load-balancing.md、notes/_topics/distributed-storage-replication.md |
| 两种索引两种访问 | 已复用 | notes/_topics/storage-data-structures.md |
| 过期删除双重触发 | 已复用 | notes/_topics/storage-data-structures.md |
| abort文件定恢复路径 | 已复用 | notes/_topics/transaction-recovery-logging.md |
| 生产消费两端流控 | 已复用 | notes/_topics/overload-protection-degradation.md、notes/_topics/stream-processing-backpressure.md |
| OP主题对账回查 | 已复用 | notes/_topics/distributed-transactions.md、notes/_topics/storage-data-structures.md |
| 回查免疫期防止过早误判超时 | 已复用 | notes/_topics/distributed-transactions.md |
| 投递时间预算进索引 | 已复用 | notes/_topics/message-brokers-event-logs.md、notes/_topics/storage-data-structures.md |
| 换主题隐身暂存 | 已复用 | notes/_topics/message-brokers-event-logs.md |
| 无界队列废掉最大线程 | 已复用 | notes/_topics/thread-pool-capacity-overload.md |
| 三阶段迁移集群 | 已复用 | notes/_topics/change-release-safety.md |
| 订阅不一致抢消费 | 已复用 | notes/_topics/message-brokers-event-logs.md |
从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。
主题索引
比较 GFS、HDFS、BigTable、MongoDB、RabbitMQ 等系统的租约、写确认、副本同步、选主与脑裂处理。
主题索引
比较主备、主从、集群、分区与异地多活等高可用架构的适用范围、数据同步与代价。
主题索引
比较限流、减载、退避重试、分级依赖与防御成本的过载应对手段。
主题索引
比较分布式共识、领导者选举、副本数量与一致性模型的可靠性取舍。
主题索引
比较变更速度、渐进发布、紧急发布与回滚边界的工程控制。
主题索引
比较内部与外部一致性、XA/2PC/3PC、CAP 与 BASE,以及可靠事件队列、TCC、SAGA、AT 等柔性事务方案。
主题索引
比较 RPC 要解决的基本问题与历代框架取舍,以及 REST 的资源抽象、统一接口、成熟度与局限。
主题索引
比较分库分片主键选择、分布式数据库选型与跨库关联查询的解法。
主题索引
比较服务发现范式、注册中心的 CAP 取舍与实现路线、网关与 BFF,以及地域与区域的流量边界。
主题索引
比较领域事件、消息中间件、事件总线与数据对账在跨聚合、跨服务一致性上的做法与取舍。
主题索引
比较顺序一致性、线性一致性、外部一致性等一致性模型,以及 CAP、弱 CAP、HAT、PACELC 对系统取舍的刻画。
主题索引
比较负载均衡的分层组合方式与各类分配算法的取舍。
主题索引
比较故障与失效、部分失效、网络与超时的不确定性、时钟漂移与进程暂停,以及系统模型如何界定这些假设。
主题索引
比较布隆过滤器、跳表、LSM 树、Merkle 树、Cuckoo 哈希等在存储系统中以空间或精度换效率的数据结构。
主题索引
比较至少一次、最多一次、恰好一次与幂等的组合,确认、重投、死信与补偿怎样把「不丢不重」落成可实现的条件。
主题索引
比较交换器与绑定、主题与标签过滤、订阅与广播扇出,以及 vhost、联邦与协议网关等多租户和跨集群寻址方式。
主题索引
比较 Commit Logging、WAL、Shadow Paging 等保证原子性与持久性的日志与恢复机制。
主题索引
预写日志与 redo/undo 的分工,检查点与日志截断,崩溃恢复的重做与回滚阶段,以及不同存储引擎在提交、刷盘与恢复时间上的取舍。
主题索引
比较线程池/工作队列如何设定容量边界、按任务类型配置线程以及越界后的拒绝、丢弃与背压策略。
主题索引
解耦、异步、削峰、缓冲四类价值各自的机制与代价:什么时候值得用队列,什么情况下队列并不救你,以及队列把复杂度转移到了哪里。
主题索引
拉得动吗:推模式与拉模式、长轮询、预取与批量、流控与反压、积压阈值与监控、扩缩容与优先级。
主题索引
比较全序与分区内有序的边界、序号与单写者怎样维持顺序,以及延时消息、时间轮和迟到事件的处理方式。
主题索引
消费到哪:位移为什么要持久化、提交的是下一位、同步与异步提交的取舍、重置与回溯、位移保留与清理、滞后量怎么算。
主题索引
谁在消费:消费组与队列的区别、竞争消费者、分区分配策略、再均衡的四阶段与代价、并行度受分区数约束。
主题索引
背压的成因与实现手段:下游余量怎样反馈给上游、有界队列与拉取模型、缓冲放在哪一层、哪些缓冲只是把过载推迟,以及吞吐由最慢节点决定的后果。