来源书籍

RocketMQ实战与原理解析 (云栖社区系列)

Skill 版本:v8 源码分享类 工程实践 76 张卡片

尚未生成整书笔记。

类别清单覆盖

8/8

已覆盖 8 补充生成 0 未覆盖 0

章节与卡片

01 快速入门

1 张卡片
  1. 消息队列解耦 理解等级:未标注 普通读书笔记卡

01 流量消峰

1 张卡片
  1. 流量削峰缓冲 理解等级:未标注 普通读书笔记卡

01 快速入门

1 张卡片
  1. 分发靠位点隔离 理解等级:未标注 普通读书笔记卡

02 生产环境下的配置和使用

2 张卡片
  1. RocketMQ四角色 理解等级:未标注 普通读书笔记卡
  2. 多副本消除单点 理解等级:未标注 普通读书笔记卡

02 RocketMQ各部分角色介绍

1 张卡片
  1. Topic用队列扩并行度 理解等级:中级 普通读书笔记卡

02 启动多个NameServer和Broker

1 张卡片
  1. 主从跨机放置副本 理解等级:高级 普通读书笔记卡

03 用适合的方式发送和接收消息

6 张卡片
  1. Push与Pull边界 理解等级:未标注 普通读书笔记卡
  2. Push实为可控Pull 理解等级:未标注 普通读书笔记卡
  3. ProcessQueue快照 理解等级:未标注 普通读书笔记卡
  4. 事务消息伤顺序写 理解等级:未标注 普通读书笔记卡
  5. 发送成功有条件 理解等级:未标注 普通读书笔记卡
  6. 消费模式定Offset存放 理解等级:未标注 普通读书笔记卡

03 DefaultMQPushConsumer的处理流程

1 张卡片
  1. 长轮询让拉取及时返回 理解等级:中级 普通读书笔记卡

03 Consumer的启动、关闭流程

1 张卡片
  1. 启动成功仍须验证订阅可用 理解等级:中级 普通读书笔记卡

03 发送延迟消息

1 张卡片
  1. 延迟消息推后生效 理解等级:初级 普通读书笔记卡

03 对事务的支持

1 张卡片
  1. 事务待确认消息靠回查收口 理解等级:高级 普通读书笔记卡

03 如何存储队列位置信息

1 张卡片
  1. 既存Offset优先于起点设置 理解等级:中级 普通读书笔记卡

03 自定义日志输出

1 张卡片
  1. 按模块拆日志定位故障 理解等级:中级 普通读书笔记卡

04 分布式消息队列的协调者

4 张卡片
  1. 轻量协调优先 理解等级:未标注 普通读书笔记卡
  2. 路由状态五表 理解等级:未标注 普通读书笔记卡
  3. 断连即清路由 理解等级:未标注 普通读书笔记卡
  4. Remoting统一调用 理解等级:未标注 普通读书笔记卡

04 NameServer的功能

1 张卡片
  1. 重报恢复多点路由 理解等级:中级 普通读书笔记卡

04 状态维护逻辑

1 张卡片
  1. 心跳兜底清路由 理解等级:中级 普通读书笔记卡

04 交互流程源码分析

1 张卡片
  1. 建Topic后发布路由 理解等级:中级 普通读书笔记卡

04 协议设计和编解码

1 张卡片
  1. 长度前缀界定命令帧 理解等级:中级 普通读书笔记卡

05 消息队列的核心机制

5 张卡片
  1. 顺序写定吞吐 理解等级:未标注 普通读书笔记卡
  2. CommitLog作物理账本 理解等级:未标注 普通读书笔记卡
  3. 刷盘是延迟换可靠 理解等级:未标注 普通读书笔记卡
  4. 复制是吞吐换容灾 理解等级:未标注 普通读书笔记卡
  5. 零拷贝省用户态复制 理解等级:未标注 普通读书笔记卡

05 消息存储结构

1 张卡片
  1. 逻辑索引可重建 理解等级:中级 普通读书笔记卡

05 高可用性机制

1 张卡片
  1. 读切从写跨组 理解等级:中级 普通读书笔记卡

06 可靠性优先的使用场景

6 张卡片
  1. 顺序只需局部 理解等级:未标注 普通读书笔记卡
  2. 可靠优先会重复 理解等级:未标注 普通读书笔记卡
  3. 扩容先保路由稳定 理解等级:未标注 普通读书笔记卡
  4. 不丢消息四条件 理解等级:未标注 普通读书笔记卡
  5. 局部顺序靠选队列加锁 理解等级:未标注 普通读书笔记卡
  6. 三种方式模拟优先级 理解等级:未标注 普通读书笔记卡

06 动态增减NameServer

1 张卡片
  1. 地址发现决定扩容能力 理解等级:中级 普通读书笔记卡

07 吞吐量优先的使用场景

10 张卡片
  1. 过滤前移省带宽 理解等级:未标注 普通读书笔记卡
  2. Tag过滤走索引 理解等级:未标注 普通读书笔记卡
  3. 均衡依赖全局视图 理解等级:未标注 普通读书笔记卡
  4. 调优先找瓶颈 理解等级:未标注 普通读书笔记卡
  5. 表达式过滤的代价 理解等级:未标注 普通读书笔记卡
  6. 批量消费与堆积丢弃 理解等级:未标注 普通读书笔记卡
  7. Oneway与并发窗口 理解等级:未标注 普通读书笔记卡
  8. Tag过滤Key定位消息 理解等级:初级 普通读书笔记卡
  9. Pull消费自行管队列 理解等级:中级 普通读书笔记卡
  10. 期限队列防IO饥饿 理解等级:中级 普通读书笔记卡

08 和其他系统交互

4 张卡片
  1. 集成先选抽象层 理解等级:未标注 普通读书笔记卡
  2. Tools模块可运维扩展 理解等级:未标注 普通读书笔记卡
  3. 消息客户端随应用生命周期管理 理解等级:中级 普通读书笔记卡
  4. 流处理并行需连接器 理解等级:中级 普通读书笔记卡

09 首个Apache中间件顶级项目

3 张卡片
  1. 社区重于代码 理解等级:未标注 普通读书笔记卡
  2. 模块即架构地图 理解等级:未标注 普通读书笔记卡
  3. 迭代留下兼容层 理解等级:未标注 普通读书笔记卡

10 NameServer源码解析

4 张卡片
  1. Controller统筹启动 理解等级:未标注 普通读书笔记卡
  2. 路由管理有锁边界 理解等级:未标注 普通读书笔记卡
  3. 心跳驱动路由更新 理解等级:未标注 普通读书笔记卡
  4. 请求码路由管理命令 理解等级:中级 普通读书笔记卡

11 最常用的消费类

5 张卡片
  1. 接口薄实现厚 理解等级:未标注 普通读书笔记卡
  2. 拉取前先做流控 理解等级:未标注 普通读书笔记卡
  3. 消费并发靠请求封装 理解等级:未标注 普通读书笔记卡
  4. 客户端实例按ID复用 理解等级:未标注 普通读书笔记卡
  5. 失败先退回Broker 理解等级:未标注 普通读书笔记卡

12 主从同步机制

3 张卡片
  1. 元数据走命令同步 理解等级:未标注 普通读书笔记卡
  2. 消息体按Offset追赶 理解等级:未标注 普通读书笔记卡
  3. 同步主等从确认 理解等级:未标注 普通读书笔记卡

13 基于Netty的通信实现

6 张卡片
  1. Netty统一网络复杂度 理解等级:未标注 普通读书笔记卡
  2. Pipeline就是拦截链 理解等级:未标注 普通读书笔记卡
  3. 协议对象统一命令 理解等级:未标注 普通读书笔记卡
  4. 收发端对称封装 理解等级:未标注 普通读书笔记卡
  5. ByteBuf双索引划分缓冲区 理解等级:中级 普通读书笔记卡
  6. 引用计数消息必须释放 理解等级:中级 普通读书笔记卡

全书概览

RocketMQ实战与原理解析 (云栖社区系列)

  • 书名:RocketMQ实战与原理解析 (云栖社区系列)
  • Skill 版本:v1
  • 类别:源码分享类(兼核对消息中间件产品实战类)
  • 本次实际使用规则:book-notes v8(2026-09-26 v8 升级:45 张旧卡分类改为普通读书笔记卡,逐字证据复核通过;按旧审查报告新增消费模式、局部顺序实现、失败重试路径、零拷贝、表达式过滤、优先级模拟、批量消费与堆积丢弃、Oneway 与并发窗口 8 张卡,改写“路由管理有锁边界”,1 张超长标题改名;补版本现状与卡片互链;2 张实践卡改为逐字书中依据并补外部核验;补主题索引维护),详见 _workflow.md。
  • 四象限结论:工程实践
  • 理由:本书前半部分围绕 RocketMQ 的使用场景、角色划分、消息可靠性和吞吐量取舍展开,后半部分深入 NameServer、Consumer、主从同步、Netty 通信等源码实现。它既包含命令和配置等版本相关内容,也提炼了顺序写、零拷贝、刷盘/复制取舍、轻量元数据协调等可迁移原理;整体信息浓度较高,但部分 API、配置和控制台操作绑定 2018 年前后的 RocketMQ 版本,因此稳定性不是最高。

章节进度追踪

章节号 章节标题 精读/略读 状态(pending/done) 卡片数
1 快速入门 精读 done 3
2 生产环境下的配置和使用 精读 done 4
3 用适合的方式发送和接收消息 精读 done 12
4 分布式消息队列的协调者 精读 done 8
5 消息队列的核心机制 精读 done 7
6 可靠性优先的使用场景 精读 done 7
7 吞吐量优先的使用场景 精读 done 10
8 和其他系统交互 精读 done 4
9 首个Apache中间件顶级项目 精读 done 3
10 NameServer源码解析 精读 done 4
11 最常用的消费类 精读 done 5
12 主从同步机制 精读 done 3
13 基于Netty的通信实现 精读 done 6

历史13章状态已因缺失逐spine覆盖记录于2026-10-04重置为 pending;各章原卡片数保留为历史计数,待按138个spine项回读和重新对账。

正文 spine 逐项阅读计划(本次 v10)
spine顺序 小节标题 来源项/路径 状态(pending/done) 卡片数
003 推荐序 id_3 / OEBPS/text00002.html done 0
004 前言 id_4 / OEBPS/text00003.html done 0
005 第1章 快速入门 id_5 / OEBPS/text00004.html done 0
006 1.1 消息队列功能介绍 id_6 / OEBPS/text00005.html done 0
007 1.1.1 应用解耦 id_7 / OEBPS/text00006.html done 1
008 1.1.2 流量消峰 id_8 / OEBPS/text00007.html done 1
009 1.1.3 消息分发 id_9 / OEBPS/text00008.html done 1
010 1.2 RocketMQ简介 id_10 / OEBPS/text00009.html done 0
011 1.3 快速上手RocketMQ id_11 / OEBPS/text00010.html done 0
012 1.3.1 RocketMQ的下载、安装和配置 id_12 / OEBPS/text00011.html done 0
013 1.3.2 启动消息队列服务 id_13 / OEBPS/text00012.html done 0
014 1.3.3 用命令行发送和接收消息 id_14 / OEBPS/text00013.html done 0
015 1.3.4 关闭消息队列 id_15 / OEBPS/text00014.html done 0
016 1.4 本章小结 id_16 / OEBPS/text00015.html done 0
017 第2章 生产环境下的配置和使用 id_17 / OEBPS/text00016.html done 0
018 2.1 RocketMQ各部分角色介绍 id_18 / OEBPS/text00017.html done 1
019 2.2 多机集群配置和部署 id_19 / OEBPS/text00018.html done 0
020 2.2.1 启动多个NameServer和Broker id_20 / OEBPS/text00019.html done 1
021 2.2.2 配置参数介绍 id_21 / OEBPS/text00020.html done 0
022 2.3 发送/接收消息示例 id_22 / OEBPS/text00021.html done 0
023 2.4 常用管理命令 id_23 / OEBPS/text00022.html done 0
024 2.5 通过图形界面管理集群 id_24 / OEBPS/text00023.html done 0
025 2.6 本章小结 id_25 / OEBPS/text00024.html done 0
026 第3章 用适合的方式发送和接收消息 id_26 / OEBPS/text00025.html done 0
027 3.1 不同类型的消费者 id_27 / OEBPS/text00026.html done 1
028 3.1.1 DefaultMQPushConsumer的使用 id_28 / OEBPS/text00027.html done 1
029 3.1.2 DefaultMQPushConsumer的处理流程 id_29 / OEBPS/text00028.html done 1
030 3.1.3 DefaultMQPushConsumer的流量控制 id_30 / OEBPS/text00029.html done 2
031 3.1.4 DefaultMQPullConsumer id_31 / OEBPS/text00030.html done 1
032 3.1.5 Consumer的启动、关闭流程 id_32 / OEBPS/text00031.html done 1
033 3.2 不同类型的生产者 id_33 / OEBPS/text00032.html done 0
034 3.2.1 DefaultMQProducer id_34 / OEBPS/text00033.html done 1
035 3.2.2 发送延迟消息 id_35 / OEBPS/text00034.html done 1
036 3.2.3 自定义消息发送规则 id_36 / OEBPS/text00035.html done 1
037 3.2.4 对事务的支持 id_37 / OEBPS/text00036.html done 2
038 3.3 如何存储队列位置信息 id_38 / OEBPS/text00037.html done 2
039 3.4 自定义日志输出 id_39 / OEBPS/text00038.html done 1
040 3.5 本章小结 id_40 / OEBPS/text00039.html done 0
041 第4章 分布式消息队列的协调者 id_41 / OEBPS/text00040.html done 0
042 4.1 NameServer的功能 id_42 / OEBPS/text00041.html done 2
043 4.1.1 集群状态的存储结构 id_43 / OEBPS/text00042.html done 1
044 4.1.2 状态维护逻辑 id_44 / OEBPS/text00043.html done 1
045 4.2 各个角色间的交互流程 id_45 / OEBPS/text00044.html done 0
046 4.2.1 交互流程源码分析 id_46 / OEBPS/text00045.html done 1
047 4.2.2 为何不用ZooKeeper id_47 / OEBPS/text00046.html done 0
048 4.3 底层通信机制 id_48 / OEBPS/text00047.html done 0
049 4.3.1 Remoting模块 id_49 / OEBPS/text00048.html done 0
050 4.3.2 协议设计和编解码 id_50 / OEBPS/text00049.html done 1
051 4.3.3 Netty库 id_51 / OEBPS/text00050.html done 0
052 4.4 本章小结 id_52 / OEBPS/text00051.html done 0
053 第5章 消息队列的核心机制 id_53 / OEBPS/text00052.html done 0
054 5.1 消息存储和发送 id_54 / OEBPS/text00053.html done 2
055 5.2 消息存储结构 id_55 / OEBPS/text00054.html done 2
056 5.3 高可用性机制 id_56 / OEBPS/text00055.html done 1
057 5.4 同步刷盘和异步刷盘 id_57 / OEBPS/text00056.html done 1
058 5.5 同步复制和异步复制 id_58 / OEBPS/text00057.html done 1
059 5.6 本章小结 id_59 / OEBPS/text00058.html done 0
060 第6章 可靠性优先的使用场景 id_60 / OEBPS/text00059.html done 0
061 6.1 顺序消息 id_61 / OEBPS/text00060.html done 1
062 6.1.1 全局顺序消息 id_62 / OEBPS/text00061.html done 0
063 6.1.2 部分顺序消息 id_63 / OEBPS/text00062.html done 1
064 6.2 消息重复问题 id_64 / OEBPS/text00063.html done 1
065 6.3 动态增减机器 id_65 / OEBPS/text00064.html done 0
066 6.3.1 动态增减NameServer id_66 / OEBPS/text00065.html done 1
067 6.3.2 动态增减Broker id_67 / OEBPS/text00066.html done 1
068 6.4 各种故障对消息的影响 id_68 / OEBPS/text00067.html done 1
069 6.5 消息优先级 id_69 / OEBPS/text00068.html done 1
070 6.6 本章小结 id_70 / OEBPS/text00069.html done 0
071 第7章 吞吐量优先的使用场景 id_71 / OEBPS/text00070.html done 0
072 7.1 在Broker端进行消息过滤 id_72 / OEBPS/text00071.html done 1
073 7.1.1 消息的Tag和Key id_73 / OEBPS/text00072.html done 1
074 7.1.2 通过Tag进行过滤 id_74 / OEBPS/text00073.html done 1
075 7.1.3 用SQL表达式的方式进行过滤 id_75 / OEBPS/text00074.html done 1
076 7.1.4 Filter Server方式过滤 id_76 / OEBPS/text00075.html done 1
077 7.2 提高Consumer处理能力 id_77 / OEBPS/text00076.html done 2
078 7.3 Consumer的负载均衡 id_78 / OEBPS/text00077.html done 1
079 7.3.1 DefaultMQPushConsumer的负载均衡 id_79 / OEBPS/text00078.html done 1
080 7.3.2 DefaultMQPullConsumer的负载均衡 id_80 / OEBPS/text00079.html done 1
081 7.4 提高Producer的发送速度 id_81 / OEBPS/text00080.html done 2
082 7.5 系统性能调优的一般流程 id_82 / OEBPS/text00081.html done 1
083 7.6 本章小结 id_83 / OEBPS/text00082.html done 0
084 第8章 和其他系统交互 id_84 / OEBPS/text00083.html done 0
085 8.1.1 直接使用 id_85 / OEBPS/text00084.html done 1
086 8.1.2 通过Spring Messaging方式使用 id_86 / OEBPS/text00085.html done 1
087 8.2 直接使用云上RocketMQ id_87 / OEBPS/text00086.html done 0
088 8.3 RocketMQ与Spark、Flink对接 id_88 / OEBPS/text00087.html done 1
089 8.4 自定义开发运维工具 id_89 / OEBPS/text00088.html done 0
090 8.4.1 开源版本运维工具功能介绍 id_90 / OEBPS/text00089.html done 0
091 8.4.2 基于Tools模块开发自定义运维工具 id_91 / OEBPS/text00090.html done 1
092 8.5 本章小结 id_92 / OEBPS/text00091.html done 0
093 第9章 首个Apache中间件顶级项目 id_93 / OEBPS/text00092.html done 0
094 9.1 RocketMQ的前世今生 id_94 / OEBPS/text00093.html done 0
095 9.2 Apache顶级项目(TLP)之路 id_95 / OEBPS/text00094.html done 1
096 9.3 源码结构 id_96 / OEBPS/text00095.html done 1
097 9.4 不断迭代的代码 id_97 / OEBPS/text00096.html done 0
098 9.5 本章小结 id_98 / OEBPS/text00097.html done 0
099 第10章 NameServer源码解析 id_99 / OEBPS/text00098.html done 0
100 10.1 模块入口代码的功能 id_100 / OEBPS/text00099.html done 0
101 10.1.1 入口函数 id_101 / OEBPS/text00100.html done 1
102 10.1.2 解析命令行参数 id_102 / OEBPS/text00101.html done 1
103 10.1.3 初始化NameServer的Controller id_103 / OEBPS/text00102.html done 1
104 10.2 NameServer的总控逻辑 id_104 / OEBPS/text00103.html done 1
105 10.3 核心业务逻辑处理 id_105 / OEBPS/text00104.html done 1
106 10.4 集群状态存储 id_106 / OEBPS/text00105.html done 1
107 10.5 本章小结 id_107 / OEBPS/text00106.html done 0
108 第11章 最常用的消费类 id_108 / OEBPS/text00107.html done 0
109 11.1 整体流程 id_109 / OEBPS/text00108.html done 0
110 11.1.1 上层接口类 id_110 / OEBPS/text00109.html done 1
111 11.1.2 DefaultMQPushConsumer的实现者 id_111 / OEBPS/text00110.html done 2
112 11.1.3 获取消息逻辑 id_112 / OEBPS/text00111.html done 1
113 11.2 消息的并发处理 id_113 / OEBPS/text00112.html done 0
114 11.2.1 并发处理过程 id_114 / OEBPS/text00113.html done 2
115 11.2.2 ProcessQueue对象 id_115 / OEBPS/text00114.html done 1
116 11.3 生产者消费者的底层类 id_116 / OEBPS/text00115.html done 0
117 11.3.1 MQClientInstance类的创建规则 id_117 / OEBPS/text00116.html done 1
118 11.3.2 MQClientInstance类的功能 id_118 / OEBPS/text00117.html done 1
119 11.4 本章小结 id_119 / OEBPS/text00118.html done 0
120 第12章 主从同步机制 id_120 / OEBPS/text00119.html done 0
121 12.1 同步属性信息 id_121 / OEBPS/text00120.html done 1
122 12.2 同步消息体 id_122 / OEBPS/text00121.html done 1
123 12.3 sync_master和async_master id_123 / OEBPS/text00122.html done 1
124 12.4 本章小结 id_124 / OEBPS/text00123.html done 0
125 第13章 基于Netty的通信实现 id_125 / OEBPS/text00124.html done 0
126 13.1 Netty介绍 id_126 / OEBPS/text00125.html done 1
127 13.2 Netty架构总览 id_127 / OEBPS/text00126.html done 1
128 13.2.1 重新实现ByteBuffer id_128 / OEBPS/text00127.html done 1
129 13.2.2 统一的异步I/O接口 id_129 / OEBPS/text00128.html done 1
130 13.2.3 基于拦截链模式的事件模型 id_130 / OEBPS/text00129.html done 1
131 13.2.4 高级组件 id_131 / OEBPS/text00130.html done 0
132 13.3 Netty用法示例 id_132 / OEBPS/text00131.html done 1
133 13.3.2 查看收到的数据 id_133 / OEBPS/text00132.html done 1
134 13.4 RocketMQ基于Netty的通信功能实现 id_134 / OEBPS/text00133.html done 0
135 13.4.1 顶层抽象类 id_135 / OEBPS/text00134.html done 2
136 13.4.2 自定义协议 id_136 / OEBPS/text00135.html done 2
137 13.4.3 基于Netty的Server和Client id_137 / OEBPS/text00136.html done 2
138 13.5 本章小结 id_138 / OEBPS/text00137.html done 0

历史13章表用于保留现有卡片的章节归属;本表与 _coverage.md 的136个正文项逐项对应。所有项须回读并核对候选、卡片去向后才可标为 done。

非正文排除

spine项 类型 排除理由
1 / id_1 / OEBPS/text00000.html 封面、题名页与版权信息 不含技术正文;书籍身份单独核验。
2 / id_2 / OEBPS/text00001.html 目录 仅列章节和页码,正文由后续spine项覆盖。

待关联术语

术语名 出现章节 一句话语境
长轮询拉取 1 1.2仅称RocketMQ采用长轮询的拉取方式,未在该节展开工作机制;后续正文需再核对。
Kafka 1 作为早期调研和对比对象出现,未展开其架构。
RabbitMQ 1 作为实现语言和定制难度对比对象出现,未展开协议或内部机制。
SLF4J 3 在自定义日志输出中提及日志门面,未展开其设计。
Logback 3 作为 RocketMQ Client 默认可用日志实现出现,未展开机制。
Spark 8 作为 RocketMQ 对接的数据处理系统出现,未展开 Spark 原理。
Flink 8 作为 RocketMQ 对接的数据处理系统出现,未展开 Flink 原理。
EventLoopGroup 4、13 第4章仅列为 Netty 使用门槛;事件循环实现待第13章正文核对。

引用文献

标题 类型(书/论文/框架/源码项目) 出现章节 一句话语境
apache/rocketmq-externals 源码项目 2 rocketmq-console 运维页面源码位置,仅作为工具下载来源。
Apache Hadoop 框架 9 作为 Apache 开源平台模式类比对象出现。
OpenStack 框架 9 作为开源平台模式类比对象出现。
RedHat/CentOS/Fedora 源码项目 9 作为开源产品簇协同发展的类比对象出现。
Java NIO 文档 框架 12 主从同步和零拷贝相关 Java NIO 能力被提及,未作为独立资料展开。

实践卡进度

序号 实践标题 实践方式 状态 关联章节 产出
1 发送事务消息并模拟本地事务崩溃触发回查 真实任务 done 事务消息相关章节 崩溃-回查操作记录
2 对比同步与异步刷盘在真实故障下的消息可靠性 横向学习 done 刷盘相关章节 两种刷盘模式的消息丢失核对表

类别清单核对

维度 覆盖状态(已覆盖/补充生成/未覆盖) 关联卡片标题或未覆盖理由
整体架构分层 已覆盖 [[模块即架构地图]]
核心数据结构设计 已覆盖 [[路由状态五表]]、[[CommitLog作物理账本]]、[[ProcessQueue快照]]
关键算法/流程实现 已覆盖 [[局部顺序靠选队列加锁]]、[[失败先退回Broker]]、[[Push实为可控Pull]]、[[心跳驱动路由更新]]、[[消息体按Offset追赶]]
并发/线程安全处理 已覆盖 [[拉取前先做流控]]、[[消费并发靠请求封装]]
扩展点与插件机制 已覆盖 [[Remoting统一调用]]、[[Tools模块可运维扩展]]、[[Pipeline就是拦截链]]
性能优化手段 已覆盖 [[零拷贝省用户态复制]]、[[批量消费与堆积丢弃]]、[[Oneway与并发窗口]]、[[顺序写定吞吐]]、[[Tag过滤走索引]]、[[调优先找瓶颈]]
异常/边界情况处理 已覆盖 [[可靠优先会重复]]、[[不丢消息四条件]]、[[发送成功有条件]]
版本演化/设计取舍历史 已覆盖 [[社区重于代码]]、[[迭代留下兼容层]]、[[事务消息伤顺序写]]

类别清单核对(消息中间件产品实战类)

维度 覆盖状态 关联卡片标题或未覆盖理由
消息模型与核心抽象 已覆盖 [[RocketMQ四角色]]、[[消费模式定Offset存放]]、[[分发靠位点隔离]]、[[三种方式模拟优先级]]
协议与客户端交互机制 已覆盖 [[协议对象统一命令]]、[[Remoting统一调用]]、[[Push实为可控Pull]]
消息传输保障机制 已覆盖 [[可靠优先会重复]]、[[失败先退回Broker]]、[[发送成功有条件]]
持久化与可靠性设计 已覆盖 [[刷盘是延迟换可靠]]、[[CommitLog作物理账本]]、[[不丢消息四条件]]
集群与高可用架构 部分覆盖 [[多副本消除单点]]、[[复制是吞吐换容灾]]、[[同步主等从确认]];书中版本无自动主备切换
网络分区/脑裂处理策略 未覆盖 书中 NameServer 不做选举、Broker 主备静态配置,未讨论分区下的一致性取舍
流控与背压机制 已覆盖 [[拉取前先做流控]]、[[Push实为可控Pull]]
运维与故障诊断方法论 已覆盖 [[调优先找瓶颈]]、[[Tools模块可运维扩展]]、[[扩容先保路由稳定]]
扩展与跨集群互联机制 未覆盖 书中止步于单集群部署,未讨论跨集群复制

主题索引维护

本书前半讲 RocketMQ 使用与取舍、后半讲 NameServer、Consumer、主从同步与 Netty 通信源码;历史卡片复用既有主题:消息代理与事件日志、存储数据结构、分布式存储复制、服务发现、RPC 与 REST、服务端 I/O 并发模型、背压与过载保护、源码架构识别等,未新建主题。

卡片标题 结论 主题文件或原因
消息队列解耦 已复用 notes/_topics/message-brokers-event-logs.md
流量削峰缓冲 已复用 notes/_topics/message-brokers-event-logs.md、notes/_topics/overload-protection-degradation.md
分发靠位点隔离 已复用 notes/_topics/message-brokers-event-logs.md
RocketMQ四角色 已复用 notes/_topics/message-brokers-event-logs.md
多副本消除单点 已复用 notes/_topics/high-availability-architecture.md
Push与Pull边界 已复用 notes/_topics/message-brokers-event-logs.md
Push实为可控Pull 已复用 notes/_topics/message-brokers-event-logs.md、notes/_topics/stream-processing-backpressure.md
ProcessQueue快照 已复用 notes/_topics/message-brokers-event-logs.md
事务消息伤顺序写 已复用 notes/_topics/distributed-transactions.md、notes/_topics/storage-data-structures.md
发送成功有条件 已复用 notes/_topics/message-brokers-event-logs.md
消费模式定Offset存放 已复用 notes/_topics/message-brokers-event-logs.md
轻量协调优先 已复用 notes/_topics/service-discovery-gateway.md
路由状态五表 已复用 notes/_topics/service-discovery-gateway.md
断连即清路由 已复用 notes/_topics/service-discovery-gateway.md、notes/_topics/faults-partial-failure-clocks.md
Remoting统一调用 已复用 notes/_topics/rpc-rest-api.md
顺序写定吞吐 已复用 notes/_topics/storage-data-structures.md
CommitLog作物理账本 已复用 notes/_topics/message-brokers-event-logs.md、notes/_topics/storage-data-structures.md
刷盘是延迟换可靠 已复用 notes/_topics/distributed-storage-replication.md
复制是吞吐换容灾 已复用 notes/_topics/distributed-storage-replication.md
零拷贝省用户态复制 已复用 notes/_topics/server-io-concurrency-models.md
顺序只需局部 已复用 notes/_topics/message-brokers-event-logs.md、notes/_topics/distributed-data-sharding.md
可靠优先会重复 已复用 notes/_topics/message-brokers-event-logs.md、notes/_topics/domain-events-eventual-consistency.md
扩容先保路由稳定 已复用 notes/_topics/load-balancing.md
不丢消息四条件 已复用 notes/_topics/distributed-storage-replication.md
局部顺序靠选队列加锁 已复用 notes/_topics/message-brokers-event-logs.md
三种方式模拟优先级 已复用 notes/_topics/message-brokers-event-logs.md
过滤前移省带宽 已复用 notes/_topics/message-brokers-event-logs.md
Tag过滤走索引 已复用 notes/_topics/message-brokers-event-logs.md
Tag过滤Key定位消息 待复核 复用消息代理与事件日志主题的语义归属待S3/S6核验
均衡依赖全局视图 已复用 notes/_topics/load-balancing.md
Pull消费自行管队列 待复核 复用负载均衡主题的语义归属待S3/S6核验
调优先找瓶颈 已复用 notes/_topics/performance-profiling.md
表达式过滤的代价 已复用 notes/_topics/message-brokers-event-logs.md
批量消费与堆积丢弃 已复用 notes/_topics/message-brokers-event-logs.md、notes/_topics/overload-protection-degradation.md
Oneway与并发窗口 已复用 notes/_topics/message-brokers-event-logs.md
期限队列防IO饥饿 待复核 复用操作系统性能主题的语义归属待S3/S6核验
集成先选抽象层 已复用 notes/_topics/message-brokers-event-logs.md
消息客户端随应用生命周期管理 待复核 复用软件架构主题的语义归属待S3/S6核验
流处理并行需连接器 待复核 复用消息代理与事件日志主题的语义归属待S3/S6核验
Tools模块可运维扩展 已复用 notes/_topics/toil-automation.md
社区重于代码 已复用 notes/_topics/open-source-adoption.md
模块即架构地图 已复用 notes/_topics/architecture-recovery-recognition.md
迭代留下兼容层 已复用 notes/_topics/architecture-erosion-debt.md
Controller统筹启动 已复用 notes/_topics/service-discovery-gateway.md
请求码路由管理命令 待复核 复用软件架构主题的语义归属待S3/S6核验
路由管理有锁边界 已复用 notes/_topics/concurrency-tasks-sync.md
心跳驱动路由更新 已复用 notes/_topics/service-discovery-gateway.md
接口薄实现厚 已复用 notes/_topics/message-brokers-event-logs.md
拉取前先做流控 已复用 notes/_topics/stream-processing-backpressure.md
消费并发靠请求封装 已复用 notes/_topics/thread-pool-capacity-overload.md
客户端实例按ID复用 已复用 notes/_topics/resource-ownership-lifetime.md
失败先退回Broker 已复用 notes/_topics/message-brokers-event-logs.md
元数据走命令同步 已复用 notes/_topics/distributed-storage-replication.md
消息体按Offset追赶 已复用 notes/_topics/distributed-storage-replication.md
同步主等从确认 已复用 notes/_topics/distributed-storage-replication.md
Netty统一网络复杂度 已复用 notes/_topics/server-io-concurrency-models.md
ByteBuf双索引划分缓冲区 待复核 复用网络I/O主题的语义归属待S3/S6核验
引用计数消息必须释放 待复核 复用网络I/O主题的语义归属待S3/S6核验
Pipeline就是拦截链 已复用 notes/_topics/server-io-concurrency-models.md
协议对象统一命令 已复用 notes/_topics/rpc-rest-api.md
收发端对称封装 已复用 notes/_topics/rpc-rest-api.md
逻辑索引可重建 待复核 S2新增;S5前核对既有存储数据结构主题的语义与成员真源
读切从写跨组 待复核 S2新增;S5前核对既有高可用架构/分布式复制主题的语义与成员真源
地址发现决定扩容能力 待复核 S2新增;S5前核对既有服务发现主题的语义与成员真源
Topic用队列扩并行度 待复核 S2卡片;拟复用消息代理与事件日志主题,S3/S6须核对语义与成员真源
主从跨机放置副本 待复核 S2卡片;拟复用高可用架构/分布式复制主题,S3/S6须核对语义与成员真源
长轮询让拉取及时返回 待复核 S2卡片;拟复用消息代理与事件日志主题,S3/S6须核对语义与成员真源
启动成功仍须验证订阅可用 待复核 S2卡片;拟复用消息代理与事件日志主题,S3/S6须核对语义与成员真源
延迟消息推后生效 待复核 S2卡片;拟复用消息代理与事件日志主题,S3/S6须核对语义与成员真源
事务待确认消息靠回查收口 待复核 S2卡片;拟复用分布式事务主题,S3/S6须核对语义与成员真源
既存Offset优先于起点设置 待复核 S2卡片;拟复用消息代理与事件日志主题,S3/S6须核对语义与成员真源
按模块拆日志定位故障 待复核 S2卡片;拟复用运维与故障诊断主题,S3/S6须核对语义与成员真源
重报恢复多点路由 待复核 S2卡片;拟复用服务发现主题,S3/S6须核对语义与成员真源
心跳兜底清路由 待复核 S2卡片;拟复用服务发现主题,S3/S6须核对语义与成员真源
建Topic后发布路由 待复核 S2卡片;拟复用服务发现主题,S3/S6须核对语义与成员真源
长度前缀界定命令帧 待复核 S2卡片;拟复用网络I/O主题,S3/S6须核对语义与成员真源

相关主题

从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。

主题索引

分布式存储与复制

比较 GFS、HDFS、BigTable、MongoDB、RabbitMQ 等系统的租约、写确认、副本同步、选主与脑裂处理。

501 张卡片 · 64 本书

主题索引

高可用与异地多活架构

比较主备、主从、集群、分区与异地多活等高可用架构的适用范围、数据同步与代价。

398 张卡片 · 79 本书

主题索引

过载保护与优雅降级

比较限流、减载、退避重试、分级依赖与防御成本的过载应对手段。

386 张卡片 · 68 本书

主题索引

变更发布与回滚安全

比较变更速度、渐进发布、紧急发布与回滚边界的工程控制。

312 张卡片 · 75 本书

主题索引

分布式事务与一致性

比较内部与外部一致性、XA/2PC/3PC、CAP 与 BASE,以及可靠事件队列、TCC、SAGA、AT 等柔性事务方案。

308 张卡片 · 61 本书

主题索引

远程调用与REST设计

比较 RPC 要解决的基本问题与历代框架取舍,以及 REST 的资源抽象、统一接口、成熟度与局限。

303 张卡片 · 53 本书

主题索引

服务发现与网关

比较服务发现范式、注册中心的 CAP 取舍与实现路线、网关与 BFF,以及地域与区域的流量边界。

286 张卡片 · 70 本书

主题索引

领域事件与最终一致性

比较领域事件、消息中间件、事件总线与数据对账在跨聚合、跨服务一致性上的做法与取舍。

263 张卡片 · 46 本书

主题索引

单机高性能与I/O模型

比较进程/线程并发模型、I/O 多路复用、Reactor 与 Proactor 等单机高性能设计。

226 张卡片 · 46 本书

主题索引

并发任务与同步原语

比较线程/任务抽象、异步结果传递、原子与同步手段的语义差异和生命周期约束。

215 张卡片 · 41 本书

主题索引

性能剖析与诊断工具

比较采样剖析、火焰图、执行追踪与调用栈诊断的使用方法和解读边界。

168 张卡片 · 34 本书

主题索引

日志、审计与取证

日志该记什么、怎么分级与结构化,采集管道与存储成本,以及审计证据与安全事件还原。

167 张卡片 · 46 本书

主题索引

负载均衡

比较负载均衡的分层组合方式与各类分配算法的取舍。

163 张卡片 · 55 本书

主题索引

Broker 存储与读写路径

比较日志段与索引、页缓存与零拷贝、批次与压缩、保留清理与压实,以及副本放置对读写路径与堆积的影响。

118 张卡片 · 24 本书

主题索引

故障、部分失效与分布式时钟

比较故障与失效、部分失效、网络与超时的不确定性、时钟漂移与进程暂停,以及系统模型如何界定这些假设。

112 张卡片 · 41 本书

主题索引

存储常用数据结构

比较布隆过滤器、跳表、LSM 树、Merkle 树、Cuckoo 哈希等在存储系统中以空间或精度换效率的数据结构。

108 张卡片 · 30 本书

主题索引

投递语义:不丢与不重

比较至少一次、最多一次、恰好一次与幂等的组合,确认、重投、死信与补偿怎样把「不丢不重」落成可实现的条件。

107 张卡片 · 35 本书

主题索引

路由、订阅与寻址

比较交换器与绑定、主题与标签过滤、订阅与广播扇出,以及 vhost、联邦与协议网关等多租户和跨集群寻址方式。

97 张卡片 · 38 本书

主题索引

琐事与运维自动化

比较如何识别和控制重复性运维工作,以及自动化的演进阶段、收益与风险。

85 张卡片 · 21 本书

主题索引

互斥、条件与死锁

互斥锁与读写锁的适用比例、信号量与 CountDownLatch 的语义差别、条件等待为什么必须持锁并循环复查、锁顺序与可重入导致的死锁,以及粗粒度锁换简单性与细粒度锁换并发的代价。

81 张卡片 · 21 本书

主题索引

开源项目选型与使用

比较学习、选型、灰度引入与二次开发开源项目的方法与风险控制。

75 张卡片 · 34 本书

主题索引

线程池容量边界与过载策略

比较线程池/工作队列如何设定容量边界、按任务类型配置线程以及越界后的拒绝、丢弃与背压策略。

75 张卡片 · 34 本书

主题索引

RPC框架调用链与机制

比较远程方法调用中代理、消息定界、编解码与传输分层,以及泛化调用如何复用框架链路。

70 张卡片 · 15 本书

主题索引

事件循环与 NIO 线程模型

Reactor 与事件循环的基本结构,Netty 的 IO 线程与业务线程分工,Nginx 的事件模块、posted 请求、子请求调度与缓冲输出,响应式流的建模方式,以及阻塞调用如何破坏异步链路。

68 张卡片 · 11 本书

主题索引

架构腐蚀、坏味道与技术债

比较预期架构与实际架构偏离的成因,架构与代码坏味道、技术债的识别与偿还,以及腐蚀的最小化、预防与修补策略。

64 张卡片 · 19 本书

主题索引

资源所有权与生命周期管理

比较不同语言与框架如何表达独占/共享所有权、释放时机和作用域退出清理。

62 张卡片 · 20 本书

主题索引

形态与交互:通道、总线还是代理

消息系统的形态与连接方式:通道、消息总线、代理还是对等、请求-回复与关联号、协议与序列化契约、中间件选型指标。

55 张卡片 · 29 本书

主题索引

框架与集成:Storm、Spark 与消息系统怎么接

具体框架的执行模型与接入方式:Storm 拓扑与调优、Spark Streaming 的 RDD 与 DStream 微批、Kafka Streams 的表流对偶、Flume 管道,以及各框架的语义边界与已知坑。

54 张卡片 · 12 本书

主题索引

顺序保证与延时消息

比较全序与分区内有序的边界、序号与单写者怎样维持顺序,以及延时消息、时间轮和迟到事件的处理方式。

49 张卡片 · 18 本书

主题索引

消费进度与位移:消费到哪了

消费到哪:位移为什么要持久化、提交的是下一位、同步与异步提交的取舍、重置与回溯、位移保留与清理、滞后量怎么算。

48 张卡片 · 11 本书

主题索引

Netty框架内部机制

Netty 的反应器、通道、流水线与处理器、ByteBuf 内存管理和编解码器的设计与使用边界。

44 张卡片 · 6 本书

主题索引

背压与流控:生产速率怎么被下游约束

背压的成因与实现手段:下游余量怎样反馈给上游、有界队列与拉取模型、缓冲放在哪一层、哪些缓冲只是把过载推迟,以及吞吐由最慢节点决定的后果。

35 张卡片 · 18 本书

主题索引

定时任务与时钟轮调度

比较扫描、时间槽与分层时钟轮的调度成本,及截止时间校验和周期任务重排的边界。

16 张卡片 · 12 本书

主题索引

架构恢复与模式识别

比较从源代码等低层信息恢复实际架构、识别所用架构模式的技术路线及其精度与自动化局限。

16 张卡片 · 7 本书