来源书籍

数据密集型应用系统设计

Skill 版本:v23 分布式系统类 经典原理(高信息浓度 + 高稳定性) 194 张卡片

Martin Kleppmann · 冯若航 译

类别清单覆盖

尚未完成类别清单核对。

章节与卡片

01 可靠性、可伸缩性、可维护性

9 张卡片
  1. 故障不同于失效 理解等级:未标注 普通读书笔记卡
  2. 主动触发故障 理解等级:未标注 普通读书笔记卡
  3. 三类故障来源 理解等级:未标注 结构图卡
  4. 响应时间不等于延迟 理解等级:未标注 普通读书笔记卡
  5. 百分位与尾部延迟 理解等级:未标注 结构图卡
  6. 推特时间线的扇出 理解等级:未标注 结构图卡
  7. 可伸缩架构依负载假设 理解等级:未标注 普通读书笔记卡
  8. 伸缩的两个维度 理解等级:未标注 普通读书笔记卡
  9. 可维护性三支柱 理解等级:未标注 结构图卡

01 第一章:可靠性、可伸缩性、可维护性

2 张卡片
  1. 组合工具即成为系统设计者 理解等级:初级 普通读书笔记卡
  2. 百分位要合并直方图 理解等级:中级 普通读书笔记卡

02 数据模型与查询语言

11 张卡片
  1. 数据模型分层抽象 理解等级:未标注 结构图卡
  2. 阻抗不匹配与局部性 理解等级:未标注 普通读书笔记卡
  3. 用ID实现规范化 理解等级:未标注 普通读书笔记卡
  4. 关系模型胜在优化器 理解等级:未标注 结构图卡
  5. 声明式查询的三个优点 理解等级:未标注 普通读书笔记卡
  6. 读时模式与写时模式 理解等级:未标注 普通读书笔记卡
  7. 属性图模型 理解等级:未标注 结构图卡
  8. 变长路径查询的差距 理解等级:未标注 普通读书笔记卡
  9. 图数据库不是CODASYL 理解等级:未标注 普通读书笔记卡
  10. MapReduce居于中间 理解等级:未标注 普通读书笔记卡
  11. Datalog的可组合规则 理解等级:未标注 普通读书笔记卡

02 第二章:数据模型与查询语言

2 张卡片
  1. 按关系类型选数据模型 理解等级:中级 普通读书笔记卡
  2. 三元组存储与SPARQL 理解等级:中级 普通读书笔记卡

03 存储与检索

13 张卡片
  1. 索引以写入换读取 理解等级:未标注 普通读书笔记卡
  2. 哈希索引与段压缩 理解等级:未标注 结构图卡
  3. SSTable的排序收益 理解等级:未标注 普通读书笔记卡
  4. LSM树与预写日志 理解等级:未标注 结构图卡
  5. 布隆过滤器省磁盘读 理解等级:未标注 普通读书笔记卡
  6. B树与页面结构 理解等级:未标注 结构图卡
  7. B树与LSM树的权衡 理解等级:未标注 结构图卡
  8. 堆文件聚簇与覆盖索引 理解等级:未标注 普通读书笔记卡
  9. 多列查询与多维索引 理解等级:未标注 普通读书笔记卡
  10. OLTP与OLAP的差异 理解等级:未标注 结构图卡
  11. 星型模式 理解等级:未标注 结构图卡
  12. 列式存储 理解等级:未标注 结构图卡
  13. 物化视图与数据立方体 理解等级:未标注 普通读书笔记卡

03 第三章:存储与检索

3 张卡片
  1. 内存数据库快在免编码 理解等级:中级 普通读书笔记卡
  2. 模糊索引与编辑距离 理解等级:中级 普通读书笔记卡
  3. 列存的排序与写入 理解等级:高级 普通读书笔记卡

04 编码与演化

9 张卡片
  1. 兼容要向前也向后 理解等级:未标注 普通读书笔记卡
  2. 语言内置序列化三问题 理解等级:未标注 普通读书笔记卡
  3. JSON数值的精度陷阱 理解等级:未标注 普通读书笔记卡
  4. 字段标签号与模式演变 理解等级:未标注 结构图卡
  5. Avro的读写模式匹配 理解等级:未标注 结构图卡
  6. 模式即永不过时的文档 理解等级:未标注 普通读书笔记卡
  7. 数据活得比代码久 理解等级:未标注 普通读书笔记卡
  8. RPC的根本缺陷 理解等级:未标注 结构图卡
  9. 消息代理的可靠性 理解等级:未标注 普通读书笔记卡

04 第四章:编码与演化

3 张卡片
  1. 服务演化的兼容方向 理解等级:中级 普通读书笔记卡
  2. Avro的Writer模式来源 理解等级:中级 普通读书笔记卡
  3. Actor的位置透明更可行 理解等级:中级 普通读书笔记卡

05 复制

11 张卡片
  1. 复制的三种架构 理解等级:未标注 结构图卡
  2. 同步与异步复制 理解等级:未标注 普通读书笔记卡
  3. 复制日志四种实现 理解等级:未标注 结构图卡
  4. 故障切换三重风险 理解等级:未标注 普通读书笔记卡
  5. 复制延迟三种异常 理解等级:未标注 结构图卡
  6. 多主复制适用场景 理解等级:未标注 普通读书笔记卡
  7. 写冲突与收敛策略 理解等级:未标注 普通读书笔记卡
  8. 多主复制拓扑 理解等级:未标注 结构图卡
  9. 无主复制与法定人数 理解等级:未标注 结构图卡
  10. 法定人数的边缘陷阱 理解等级:未标注 普通读书笔记卡
  11. 并发与版本向量 理解等级:未标注 结构图卡

05 第五章:复制

3 张卡片
  1. 新从库靠快照加日志位置 理解等级:初级 普通读书笔记卡
  2. 自动冲突解决的三条路线 理解等级:高级 普通读书笔记卡
  3. 量化最终一致的陈旧度 理解等级:中级 普通读书笔记卡

06 分区

8 张卡片
  1. 分区目标是均匀 理解等级:未标注 普通读书笔记卡
  2. 键范围分区 理解等级:未标注 普通读书笔记卡
  3. 哈希分区与复合键 理解等级:未标注 普通读书笔记卡
  4. 单键热点靠应用拆分 理解等级:未标注 普通读书笔记卡
  5. 二级索引分区 理解等级:未标注 结构图卡
  6. 分区再平衡策略 理解等级:未标注 结构图卡
  7. 自动再平衡的风险 理解等级:未标注 普通读书笔记卡
  8. 请求路由 理解等级:未标注 结构图卡

07 事务

13 张卡片
  1. 原子性即可中止性 理解等级:未标注 普通读书笔记卡
  2. 一致性属于应用 理解等级:未标注 普通读书笔记卡
  3. 多对象事务的必要性 理解等级:未标注 普通读书笔记卡
  4. 重试的四个局限 理解等级:未标注 普通读书笔记卡
  5. 读已提交的实现 理解等级:未标注 普通读书笔记卡
  6. 快照隔离与MVCC 理解等级:未标注 结构图卡
  7. 可重复读名不副实 理解等级:未标注 普通读书笔记卡
  8. 防丢失更新四手段 理解等级:未标注 结构图卡
  9. 写偏差 理解等级:未标注 结构图卡
  10. 幻读与物化冲突 理解等级:未标注 普通读书笔记卡
  11. 可串行化三条路径 理解等级:未标注 结构图卡
  12. 谓词锁与索引范围锁 理解等级:未标注 普通读书笔记卡
  13. 可串行化快照隔离 理解等级:未标注 结构图卡

07 第七章:事务

5 张卡片
  1. 转账中途读到余额凭空减少 理解等级:中级 支付系统案例卡
  2. 并发读改写余额丢失更新 理解等级:中级 支付系统案例卡
  3. 并发消费插入导致余额为负 理解等级:高级 支付系统案例卡
  4. 持久性只有降风险手段 理解等级:中级 普通读书笔记卡
  5. 单对象原子操作不算事务 理解等级:中级 普通读书笔记卡

08 分布式系统的麻烦

12 张卡片
  1. 部分失效的不确定性 理解等级:未标注 普通读书笔记卡
  2. 网络故障无法区分 理解等级:未标注 普通读书笔记卡
  3. 超时设置的两难 理解等级:未标注 普通读书笔记卡
  4. 网络延迟源于排队 理解等级:未标注 结构图卡
  5. 日历时钟与单调钟 理解等级:未标注 普通读书笔记卡
  6. LWW因时钟丢更新 理解等级:未标注 普通读书笔记卡
  7. 时钟读数是置信区间 理解等级:未标注 普通读书笔记卡
  8. 进程暂停与租约 理解等级:未标注 结构图卡
  9. 防护令牌 理解等级:未标注 普通读书笔记卡
  10. 拜占庭容错的边界 理解等级:未标注 普通读书笔记卡
  11. 系统模型 理解等级:未标注 结构图卡
  12. 安全性与活性 理解等级:未标注 普通读书笔记卡

08 第八章:分布式系统的麻烦

3 张卡片
  1. 超时要靠实测与自适应 理解等级:中级 普通读书笔记卡
  2. 防御弱形式的谎言 理解等级:中级 普通读书笔记卡
  3. 把GC暂停当计划内中断 理解等级:高级 普通读书笔记卡

09 一致性与共识

20 张卡片
  1. 线性一致性的定义 理解等级:未标注 普通读书笔记卡
  2. 线性一致与可串行化 理解等级:未标注 普通读书笔记卡
  3. 需要线性一致的场景 理解等级:未标注 普通读书笔记卡
  4. 复制方式与线性一致 理解等级:未标注 结构图卡
  5. CAP的狭窄含义 理解等级:未标注 普通读书笔记卡
  6. 线性一致的延迟代价 理解等级:未标注 普通读书笔记卡
  7. 因果顺序是偏序 理解等级:未标注 普通读书笔记卡
  8. 捕获因果依赖 理解等级:未标注 普通读书笔记卡
  9. 非因果序列号生成器 理解等级:未标注 普通读书笔记卡
  10. 兰伯特时间戳 理解等级:未标注 普通读书笔记卡
  11. 全序需要尘埃落定 理解等级:未标注 普通读书笔记卡
  12. 全序广播 理解等级:未标注 普通读书笔记卡
  13. 全序广播与线性存储 理解等级:未标注 结构图卡
  14. 原子提交与2PC 理解等级:未标注 普通读书笔记卡
  15. 2PC协调者失效 理解等级:未标注 结构图卡
  16. 内部事务与XA事务 理解等级:未标注 普通读书笔记卡
  17. 共识与FLP 理解等级:未标注 普通读书笔记卡
  18. 纪元编号与法定人数 理解等级:未标注 结构图卡
  19. 共识算法的代价 理解等级:未标注 普通读书笔记卡
  20. ZooKeeper的用途 理解等级:未标注 普通读书笔记卡

09 第九章:一致性与共识

2 张卡片
  1. 双信道之间的竞态 理解等级:中级 普通读书笔记卡
  2. 共识等价的六类问题 理解等级:高级 普通读书笔记卡

10 批处理

15 张卡片
  1. 服务批处理与流处理 理解等级:未标注 普通读书笔记卡
  2. 排序与内存聚合 理解等级:未标注 普通读书笔记卡
  3. Unix哲学三原则 理解等级:未标注 普通读书笔记卡
  4. HDFS与计算贴近数据 理解等级:未标注 普通读书笔记卡
  5. MapReduce执行模型 理解等级:未标注 结构图卡
  6. 排序合并连接 理解等级:未标注 普通读书笔记卡
  7. 连接中的热键补偿 理解等级:未标注 普通读书笔记卡
  8. Map侧连接三变体 理解等级:未标注 普通读书笔记卡
  9. 不可变输出与人类容错 理解等级:未标注 普通读书笔记卡
  10. 读时模式与数据湖 理解等级:未标注 普通读书笔记卡
  11. 任意代码与声明式查询 理解等级:未标注 普通读书笔记卡
  12. MapReduce为抢占而设计 理解等级:未标注 普通读书笔记卡
  13. 数据流引擎的算子 理解等级:未标注 结构图卡
  14. 谱系重算与确定性 理解等级:未标注 普通读书笔记卡
  15. Pregel图批处理 理解等级:未标注 结构图卡

10 第十章:批处理

1 张卡片
  1. 作业链靠目录与调度器 理解等级:中级 普通读书笔记卡

11 流处理

19 张卡片
  1. 无界输入的连锁反应 理解等级:未标注 普通读书笔记卡
  2. 消息系统的设计选择 理解等级:未标注 普通读书笔记卡
  3. 直接消息传递的局限 理解等级:未标注 普通读书笔记卡
  4. 消息代理与数据库 理解等级:未标注 普通读书笔记卡
  5. 负载均衡与扇出 理解等级:未标注 普通读书笔记卡
  6. 基于日志的消息代理 理解等级:未标注 结构图卡
  7. 消费者偏移量 理解等级:未标注 普通读书笔记卡
  8. 重播旧消息 理解等级:未标注 普通读书笔记卡
  9. 双写的竞态条件 理解等级:未标注 普通读书笔记卡
  10. 变更数据捕获 理解等级:未标注 普通读书笔记卡
  11. 事件溯源与CDC 理解等级:未标注 普通读书笔记卡
  12. 状态与流 理解等级:未标注 普通读书笔记卡
  13. 不变性的局限 理解等级:未标注 普通读书笔记卡
  14. 流处理的四种用途 理解等级:未标注 普通读书笔记卡
  15. 事件时间与处理时间 理解等级:未标注 结构图卡
  16. 窗口何时准备好 理解等级:未标注 普通读书笔记卡
  17. 窗口的四种类型 理解等级:未标注 结构图卡
  18. 三种流连接 理解等级:未标注 结构图卡
  19. 流处理的恰好一次 理解等级:未标注 普通读书笔记卡

11 第十一章:流处理

2 张卡片
  1. 写入形式与读取视图分离 理解等级:高级 普通读书笔记卡
  2. 流处理器状态的恢复 理解等级:中级 普通读书笔记卡

12 数据系统的未来

25 张卡片
  1. 没有万能数据工具 理解等级:未标注 普通读书笔记卡
  2. 日志集成优于分布式事务 理解等级:未标注 普通读书笔记卡
  3. 全序广播的伸缩限制 理解等级:未标注 普通读书笔记卡
  4. 捕获因果的排序 理解等级:未标注 普通读书笔记卡
  5. 批流统一与函数式 理解等级:未标注 普通读书笔记卡
  6. 渐进式演化 理解等级:未标注 普通读书笔记卡
  7. Lambda架构的问题 理解等级:未标注 普通读书笔记卡
  8. 统一批流的三项能力 理解等级:未标注 普通读书笔记卡
  9. Unix与关系数据库 理解等级:未标注 普通读书笔记卡
  10. 联合与分拆数据库 理解等级:未标注 结构图卡
  11. 分拆追求广度 理解等级:未标注 普通读书笔记卡
  12. 应用代码即衍生函数 理解等级:未标注 普通读书笔记卡
  13. 围绕数据流构建应用 理解等级:未标注 普通读书笔记卡
  14. 写路径与读路径 理解等级:未标注 结构图卡
  15. 有状态离线客户端 理解等级:未标注 普通读书笔记卡
  16. 读也是事件 理解等级:未标注 普通读书笔记卡
  17. 端到端原则与幂等 理解等级:未标注 普通读书笔记卡
  18. 日志实现唯一性约束 理解等级:未标注 结构图卡
  19. 及时性与完整性 理解等级:未标注 普通读书笔记卡
  20. 宽松地解释约束 理解等级:未标注 普通读书笔记卡
  21. 信任但验证 理解等级:未标注 普通读书笔记卡
  22. 为可审计性而设计 理解等级:未标注 普通读书笔记卡
  23. 算法监狱与反馈循环 理解等级:未标注 普通读书笔记卡
  24. 监视与隐私转移 理解等级:未标注 普通读书笔记卡
  25. 数据是信息时代污染 理解等级:未标注 普通读书笔记卡

12 第十二章:数据系统的未来

1 张卡片
  1. 断线重试导致重复转账 理解等级:中级 支付系统案例卡

00 第二部分:分布式数据

1 张卡片
  1. 三种伸缩架构 理解等级:初级 普通读书笔记卡

00 第三部分:衍生数据

1 张卡片
  1. 记录系统与衍生数据 理解等级:初级 普通读书笔记卡

全书概览

数据密集型应用系统设计

Skill 版本:v7

  • 本次实际使用规则:book-notes v23 / book-workflow v4(2026-10-24 轻量模式升级:全文重读、补建覆盖记录与整书笔记、新增 29 张知识卡,含 4 张资金安全问题卡);历史 v8 S4 处理记录与审查报告保留,详见 _workflow.md。

作者:Martin Kleppmann;译者:冯若航(社区中文译本,原名《Designing Data-Intensive Applications》)

执行模式:light

建档进度:done

整书笔记:_book_note.md(schema 1;SHA-256 cd4429f2dbeeeda8f002d8be4973986c449d57d288f8afcae9cc7b4b928e9afc)

整体评级

四象限结论:经典原理(高信息浓度 + 高稳定性)

评级理由:

信息浓度极高:全书系统讲解数据系统设计决策背后的“为什么”,而不是任何产品的操作手册——区分故障与失效、用百分位衡量响应时间、写时扇出与读时聚合的权衡、LSM 树与 B 树的取舍、复制延迟引起的三种异常、弱隔离级别下的丢失更新与写偏差、线性一致与因果一致的区别、共识与原子提交的等价关系、用确定性衍生函数和端到端请求 ID 维护正确性,每个结论都有完整的推理和反例。

稳定性很高:书中援引 Kafka、Cassandra、PostgreSQL、Hadoop、Spark 等系统作为例证,具体功能会随版本变化,但复制、分区、事务、一致性、批流处理这些问题及其权衡长期成立;第 12 章明确为作者观点和推测,数据伦理部分的论述也不依赖具体技术。

类别:分布式系统类

内容形态:概念解析型 + 案例型(含资金安全相关的并发与幂等案例)。

章节进度追踪表

章节号 章节标题 状态(pending/done) 卡片数
00-简介 简介 done 0
00-序言 序言 done 0
P1 第一部分:数据系统的基石 done 0
01 第一章:可靠性、可伸缩性、可维护性 done 11
02 第二章:数据模型与查询语言 done 13
03 第三章:存储与检索 done 16
04 第四章:编码与演化 done 12
P2 第二部分:分布式数据 done 1
05 第五章:复制 done 14
06 第六章:分区 done 8
07 第七章:事务 done 18
08 第八章:分布式系统的麻烦 done 15
09 第九章:一致性与共识 done 22
P3 第三部分:衍生数据 done 1
10 第十章:批处理 done 16
11 第十一章:流处理 done 21
12 第十二章:数据系统的未来 done 26
G 术语表 done 0

非正文排除

spine项 类型 排除理由
0 / titlepage.xhtml 封面 仅封面
1 / SUMMARY.html 目录/导航 纯目录或章节索引导航
2 / index_split_000.html 章节标题页 仅有章节或部分标题
6 / index_split_004.html 目录/导航 纯目录或章节索引导航
7 / index_split_005.html 法律声明 译本授权与使用限制说明
8 / index_split_006.html 贡献者名单 译本校订与贡献名单
9 / index_split_007.html 协议 CC-BY 4.0 协议声明
10 / preface_split_000.html 章节标题页 仅有章节或部分标题
15 / preface_split_005.html 参考文献说明 说明参考文献与延伸阅读的获取方式
16 / preface_split_006.html 出版平台说明 O’Reilly Safari 平台介绍
18 / part-i_split_000.html 章节标题页 仅有章节或部分标题
20 / part-i_split_002.html 目录/导航 纯目录或章节索引导航
21 / ch1_split_000.html 章节标题页 仅有章节或部分标题
28 / ch1_split_007.html 参考文献 该章文献列表,正文引用已在卡片中按需说明
29 / ch2_split_000.html 章节标题页 仅有章节或部分标题
35 / ch2_split_006.html 参考文献 该章文献列表,正文引用已在卡片中按需说明
36 / ch3_split_000.html 章节标题页 仅有章节或部分标题
42 / ch3_split_006.html 参考文献 该章文献列表,正文引用已在卡片中按需说明
43 / ch4_split_000.html 章节标题页 仅有章节或部分标题
48 / ch4_split_005.html 参考文献 该章文献列表,正文引用已在卡片中按需说明
49 / part-ii_split_000.html 章节标题页 仅有章节或部分标题
52 / part-ii_split_003.html 目录/导航 纯目录或章节索引导航
53 / part-ii_split_004.html 参考文献 该章文献列表,正文引用已在卡片中按需说明
54 / ch5_split_000.html 章节标题页 仅有章节或部分标题
61 / ch5_split_007.html 参考文献 该章文献列表,正文引用已在卡片中按需说明
62 / ch6_split_000.html 章节标题页 仅有章节或部分标题
70 / ch6_split_008.html 参考文献 该章文献列表,正文引用已在卡片中按需说明
71 / ch7_split_000.html 章节标题页 仅有章节或部分标题
77 / ch7_split_006.html 参考文献 该章文献列表,正文引用已在卡片中按需说明
78 / ch8_split_000.html 章节标题页 仅有章节或部分标题
85 / ch8_split_007.html 参考文献 该章文献列表,正文引用已在卡片中按需说明
86 / ch9_split_000.html 章节标题页 仅有章节或部分标题
93 / ch9_split_007.html 参考文献 该章文献列表,正文引用已在卡片中按需说明
94 / part-iii_split_000.html 章节标题页 仅有章节或部分标题
98 / part-iii_split_004.html 目录/导航 纯目录或章节索引导航
99 / ch10_split_000.html 章节标题页 仅有章节或部分标题
105 / ch10_split_006.html 参考文献 该章文献列表,正文引用已在卡片中按需说明
106 / ch11_split_000.html 章节标题页 仅有章节或部分标题
112 / ch11_split_006.html 参考文献 该章文献列表,正文引用已在卡片中按需说明
113 / ch12_split_000.html 章节标题页 仅有章节或部分标题
120 / ch12_split_007.html 参考文献 该章文献列表,正文引用已在卡片中按需说明
121 / glossary_split_000.html 章节标题页 仅有章节或部分标题
123 / colophon_split_000.html 章节标题页 仅有章节或部分标题
124 / colophon_split_001.html 后记 作者与译者简介、封面动物说明
125 / colophon_split_002.html 后记 作者与译者简介、封面动物说明
126 / colophon_split_003.html 后记 作者与译者简介、封面动物说明

待关联术语

术语名 出现章节 一句话语境

引用文献

标题 类型 出现章节 一句话语境

实践卡进度

序号 实践标题 实践方式 状态(pending/done) 关联章节 产出
idea-001 etcd-raft库源码深读:映射书中共识机制 实现深读 done 第9章 阅读单元对照表+状态转移图规划
idea-002 Raft、Paxos、ZAB三种共识算法横向比较 横向学习 done 第9章 九维度对照表规划
idea-003 Kafka日志压缩实现深读:映射书中CDC机制 实现深读 done 第11章 阅读单元对照表+差异清单规划
idea-004 Jepsen真实故障报告观察:线性一致性声明的实际失效 真实任务 done 第8/9/12章 案例对照笔记规划

实践候选筛选:done

本次升级复用 4 张旧实践卡,未新增。未采用候选:为 cardbox 导入流程设计端到端请求 ID(现有导入是本地单进程、可整体重跑,没有跨网络重试场景);用百分位监控批次处理耗时(批次数量少,统计意义不足);把批次日志改造成事件溯源(现有放行清单与对账记录已满足审计需要)。

资金安全问题案例

问题标题 问题卡 解决方案卡(如有) 出现章节 一句话说明
转账中途读取偏差 [[转账中途读到余额凭空减少]] [[快照隔离与MVCC]] 07 读已提交下转账进行中读到两个账户不同时间点的余额,总额少了100美元;备份与完整性检查不能容忍
余额读改写丢失更新 [[并发读改写余额丢失更新]] [[防丢失更新四手段]] 07 两个事务对同一余额读取-修改-写入,一次修改被静默覆盖
双重开支使余额为负 [[并发消费插入导致余额为负]] [[可串行化三条路径]] 07 两笔消费各自检查余额后插入,写偏差使余额变负,快照隔离不能防止
断线重试重复转账 [[断线重试导致重复转账]] [[端到端原则与幂等]] 12 COMMIT 后连接超时重试非幂等转账,可能转出两倍金额

历史记录(保留,不作为本次验收依据)

类别清单核对(分布式系统类)
维度 覆盖状态 关联卡片标题或未覆盖理由
一致性模型 已覆盖 线性一致性的定义;线性一致与可串行化;因果顺序是偏序;及时性与完整性
共识算法 已覆盖 共识与FLP;纪元编号与法定人数;ZooKeeper的用途
容错假设 已覆盖 拜占庭容错的边界;系统模型
时钟与顺序问题 已覆盖 日历时钟与单调钟;时钟读数是置信区间;非因果序列号生成器;兰伯特时间戳
分区处理策略(CAP权衡) 已覆盖 CAP的狭窄含义;线性一致的延迟代价
复制与数据分布 已覆盖 复制的三种架构;哈希分区与复合键;二级索引分区
幂等与重试设计 已覆盖 流处理的恰好一次;端到端原则与幂等;日志实现唯一性约束
主题索引维护(2026-09-25 v8 S4)

本书覆盖数据系统的存储、复制、分区、事务、一致性与批流处理;卡片主要并入已有的存储模型、存储数据结构、复制、分片、事务、一致性、共识、批流计算与 Lambda 架构等主题,新建消息代理与事件日志、故障与分布式时钟、数据流与分拆数据库、数据伦理与隐私 4 个主题。

卡片标题 结论 主题文件或原因
故障不同于失效 已创建 notes/_topics/faults-partial-failure-clocks.md
主动触发故障 已创建 notes/_topics/faults-partial-failure-clocks.md
三类故障来源 已创建 notes/_topics/faults-partial-failure-clocks.md
响应时间不等于延迟 已复用 notes/_topics/slo-error-budget.md
百分位与尾部延迟 已复用 notes/_topics/slo-error-budget.md
推特时间线的扇出 已复用 notes/_topics/scalability-dimensions.md
可伸缩架构依负载假设 已复用 notes/_topics/scalability-dimensions.md
伸缩的两个维度 已复用 notes/_topics/scalability-dimensions.md
可维护性三支柱 已复用 notes/_topics/software-quality-tradeoffs.md
数据模型分层抽象 已复用 notes/_topics/storage-model-choices.md
阻抗不匹配与局部性 已复用 notes/_topics/storage-model-choices.md
用ID实现规范化 已复用 notes/_topics/storage-model-choices.md
关系模型胜在优化器 已复用 notes/_topics/storage-model-choices.md
声明式查询的三个优点 已复用 notes/_topics/storage-model-choices.md
读时模式与写时模式 已复用 notes/_topics/storage-model-choices.md
属性图模型 已复用 notes/_topics/storage-model-choices.md
变长路径查询的差距 已复用 notes/_topics/storage-model-choices.md
图数据库不是CODASYL 已复用 notes/_topics/storage-model-choices.md
MapReduce居于中间 已复用 notes/_topics/storage-model-choices.md
Datalog的可组合规则 已复用 notes/_topics/storage-model-choices.md
索引以写入换读取 已复用 notes/_topics/storage-data-structures.md
哈希索引与段压缩 已复用 notes/_topics/storage-data-structures.md
SSTable的排序收益 已复用 notes/_topics/storage-data-structures.md
LSM树与预写日志 已复用 notes/_topics/storage-data-structures.md、notes/_topics/transaction-recovery-logging.md
布隆过滤器省磁盘读 已复用 notes/_topics/storage-data-structures.md
B树与页面结构 已复用 notes/_topics/storage-data-structures.md
B树与LSM树的权衡 已复用 notes/_topics/storage-data-structures.md
堆文件聚簇与覆盖索引 已复用 notes/_topics/storage-data-structures.md
多列查询与多维索引 已复用 notes/_topics/storage-data-structures.md
OLTP与OLAP的差异 已复用 notes/_topics/storage-model-choices.md
星型模式 已复用 notes/_topics/storage-model-choices.md
列式存储 已复用 notes/_topics/storage-model-choices.md
物化视图与数据立方体 已复用 notes/_topics/storage-model-choices.md
兼容要向前也向后 已复用 notes/_topics/data-interchange-formats.md
语言内置序列化三问题 已复用 notes/_topics/data-interchange-formats.md
JSON数值的精度陷阱 已复用 notes/_topics/data-interchange-formats.md
字段标签号与模式演变 已复用 notes/_topics/data-interchange-formats.md
Avro的读写模式匹配 已复用 notes/_topics/data-interchange-formats.md
模式即永不过时的文档 已复用 notes/_topics/data-interchange-formats.md
数据活得比代码久 已复用 notes/_topics/data-interchange-formats.md
RPC的根本缺陷 已复用 notes/_topics/rpc-rest-api.md
消息代理的可靠性 已创建 notes/_topics/message-brokers-event-logs.md
复制的三种架构 已复用 notes/_topics/distributed-storage-replication.md
同步与异步复制 已复用 notes/_topics/distributed-storage-replication.md
复制日志四种实现 已复用 notes/_topics/distributed-storage-replication.md
故障切换三重风险 已复用 notes/_topics/distributed-storage-replication.md
复制延迟三种异常 已复用 notes/_topics/distributed-storage-replication.md
多主复制适用场景 已复用 notes/_topics/distributed-storage-replication.md
写冲突与收敛策略 已复用 notes/_topics/distributed-storage-replication.md
多主复制拓扑 已复用 notes/_topics/distributed-storage-replication.md
无主复制与法定人数 已复用 notes/_topics/distributed-storage-replication.md
法定人数的边缘陷阱 已复用 notes/_topics/distributed-storage-replication.md
并发与版本向量 已复用 notes/_topics/distributed-storage-replication.md、notes/_topics/consistency-models.md
分区目标是均匀 已复用 notes/_topics/distributed-data-sharding.md
键范围分区 已复用 notes/_topics/distributed-data-sharding.md
哈希分区与复合键 已复用 notes/_topics/distributed-data-sharding.md
单键热点靠应用拆分 已复用 notes/_topics/distributed-data-sharding.md
二级索引分区 已复用 notes/_topics/distributed-data-sharding.md
分区再平衡策略 已复用 notes/_topics/distributed-data-sharding.md
自动再平衡的风险 已复用 notes/_topics/distributed-data-sharding.md
请求路由 已复用 notes/_topics/distributed-data-sharding.md
原子性即可中止性 已复用 notes/_topics/transactions-offline-concurrency.md
一致性属于应用 已复用 notes/_topics/transactions-offline-concurrency.md
多对象事务的必要性 已复用 notes/_topics/transactions-offline-concurrency.md
重试的四个局限 已复用 notes/_topics/transactions-offline-concurrency.md
读已提交的实现 已复用 notes/_topics/transactions-offline-concurrency.md
快照隔离与MVCC 已复用 notes/_topics/transactions-offline-concurrency.md
可重复读名不副实 已复用 notes/_topics/transactions-offline-concurrency.md
防丢失更新四手段 已复用 notes/_topics/transactions-offline-concurrency.md
写偏差 已复用 notes/_topics/transactions-offline-concurrency.md
幻读与物化冲突 已复用 notes/_topics/transactions-offline-concurrency.md
可串行化三条路径 已复用 notes/_topics/transactions-offline-concurrency.md
谓词锁与索引范围锁 已复用 notes/_topics/transactions-offline-concurrency.md
可串行化快照隔离 已复用 notes/_topics/transactions-offline-concurrency.md
部分失效的不确定性 已创建 notes/_topics/faults-partial-failure-clocks.md
网络故障无法区分 已创建 notes/_topics/faults-partial-failure-clocks.md
超时设置的两难 已创建 notes/_topics/faults-partial-failure-clocks.md
网络延迟源于排队 已创建 notes/_topics/faults-partial-failure-clocks.md
日历时钟与单调钟 已创建 notes/_topics/faults-partial-failure-clocks.md
LWW因时钟丢更新 已创建 notes/_topics/faults-partial-failure-clocks.md
时钟读数是置信区间 已创建 notes/_topics/faults-partial-failure-clocks.md
进程暂停与租约 已创建 notes/_topics/faults-partial-failure-clocks.md
防护令牌 已创建 notes/_topics/faults-partial-failure-clocks.md、notes/_topics/distributed-consensus.md
拜占庭容错的边界 已创建 notes/_topics/faults-partial-failure-clocks.md
系统模型 已创建 notes/_topics/faults-partial-failure-clocks.md
安全性与活性 已创建 notes/_topics/faults-partial-failure-clocks.md
线性一致性的定义 已复用 notes/_topics/consistency-models.md
线性一致与可串行化 已复用 notes/_topics/consistency-models.md
需要线性一致的场景 已复用 notes/_topics/consistency-models.md
复制方式与线性一致 已复用 notes/_topics/consistency-models.md
CAP的狭窄含义 已复用 notes/_topics/consistency-models.md
线性一致的延迟代价 已复用 notes/_topics/consistency-models.md
因果顺序是偏序 已复用 notes/_topics/consistency-models.md
捕获因果依赖 已复用 notes/_topics/consistency-models.md
非因果序列号生成器 已复用 notes/_topics/consistency-models.md
兰伯特时间戳 已复用 notes/_topics/consistency-models.md
全序需要尘埃落定 已复用 notes/_topics/consistency-models.md
全序广播 已复用 notes/_topics/distributed-consensus.md
全序广播与线性存储 已复用 notes/_topics/distributed-consensus.md
原子提交与2PC 已复用 notes/_topics/distributed-transactions.md
2PC协调者失效 已复用 notes/_topics/distributed-transactions.md
内部事务与XA事务 已复用 notes/_topics/distributed-transactions.md
共识与FLP 已复用 notes/_topics/distributed-consensus.md
纪元编号与法定人数 已复用 notes/_topics/distributed-consensus.md
共识算法的代价 已复用 notes/_topics/distributed-consensus.md
ZooKeeper的用途 已复用 notes/_topics/distributed-consensus.md
服务批处理与流处理 已复用 notes/_topics/big-data-compute-paradigms.md
排序与内存聚合 已复用 notes/_topics/big-data-compute-paradigms.md
Unix哲学三原则 已复用 notes/_topics/big-data-compute-paradigms.md
HDFS与计算贴近数据 已复用 notes/_topics/big-data-compute-paradigms.md
MapReduce执行模型 已复用 notes/_topics/big-data-compute-paradigms.md
排序合并连接 已复用 notes/_topics/big-data-compute-paradigms.md
连接中的热键补偿 已复用 notes/_topics/big-data-compute-paradigms.md
Map侧连接三变体 已复用 notes/_topics/big-data-compute-paradigms.md
不可变输出与人类容错 已复用 notes/_topics/big-data-compute-paradigms.md
读时模式与数据湖 已复用 notes/_topics/big-data-compute-paradigms.md
任意代码与声明式查询 已复用 notes/_topics/big-data-compute-paradigms.md
MapReduce为抢占而设计 已复用 notes/_topics/big-data-compute-paradigms.md
数据流引擎的算子 已复用 notes/_topics/big-data-compute-paradigms.md
谱系重算与确定性 已复用 notes/_topics/big-data-compute-paradigms.md
Pregel图批处理 已复用 notes/_topics/big-data-compute-paradigms.md
无界输入的连锁反应 已复用 notes/_topics/big-data-compute-paradigms.md
消息系统的设计选择 已创建 notes/_topics/message-brokers-event-logs.md
直接消息传递的局限 已创建 notes/_topics/message-brokers-event-logs.md
消息代理与数据库 已创建 notes/_topics/message-brokers-event-logs.md
负载均衡与扇出 已创建 notes/_topics/message-brokers-event-logs.md
基于日志的消息代理 已创建 notes/_topics/message-brokers-event-logs.md
消费者偏移量 已创建 notes/_topics/message-brokers-event-logs.md
重播旧消息 已创建 notes/_topics/message-brokers-event-logs.md
双写的竞态条件 已复用 notes/_topics/domain-events-eventual-consistency.md
变更数据捕获 已复用 notes/_topics/domain-events-eventual-consistency.md
事件溯源与CDC 已复用 notes/_topics/domain-events-eventual-consistency.md
状态与流 已复用 notes/_topics/domain-events-eventual-consistency.md
不变性的局限 已复用 notes/_topics/domain-events-eventual-consistency.md
流处理的四种用途 已复用 notes/_topics/big-data-compute-paradigms.md
事件时间与处理时间 已复用 notes/_topics/big-data-compute-paradigms.md
窗口何时准备好 已复用 notes/_topics/big-data-compute-paradigms.md
窗口的四种类型 已复用 notes/_topics/big-data-compute-paradigms.md
三种流连接 已复用 notes/_topics/big-data-compute-paradigms.md
流处理的恰好一次 已复用 notes/_topics/big-data-compute-paradigms.md
没有万能数据工具 已创建 notes/_topics/dataflow-unbundled-databases.md
日志集成优于分布式事务 已复用 notes/_topics/distributed-transactions.md
全序广播的伸缩限制 已创建 notes/_topics/dataflow-unbundled-databases.md
捕获因果的排序 已创建 notes/_topics/dataflow-unbundled-databases.md
批流统一与函数式 已复用 notes/_topics/lambda-architecture.md
渐进式演化 已复用 notes/_topics/lambda-architecture.md
Lambda架构的问题 已复用 notes/_topics/lambda-architecture.md
统一批流的三项能力 已复用 notes/_topics/lambda-architecture.md
Unix与关系数据库 已创建 notes/_topics/dataflow-unbundled-databases.md
联合与分拆数据库 已创建 notes/_topics/dataflow-unbundled-databases.md
分拆追求广度 已创建 notes/_topics/dataflow-unbundled-databases.md
应用代码即衍生函数 已创建 notes/_topics/dataflow-unbundled-databases.md
围绕数据流构建应用 已创建 notes/_topics/dataflow-unbundled-databases.md
写路径与读路径 已创建 notes/_topics/dataflow-unbundled-databases.md
有状态离线客户端 已创建 notes/_topics/dataflow-unbundled-databases.md
读也是事件 已创建 notes/_topics/dataflow-unbundled-databases.md
端到端原则与幂等 已创建 notes/_topics/dataflow-unbundled-databases.md、notes/_topics/distributed-transactions.md
日志实现唯一性约束 已创建 notes/_topics/dataflow-unbundled-databases.md
及时性与完整性 已创建 notes/_topics/dataflow-unbundled-databases.md、notes/_topics/consistency-models.md
宽松地解释约束 已创建 notes/_topics/dataflow-unbundled-databases.md
信任但验证 已创建 notes/_topics/dataflow-unbundled-databases.md
为可审计性而设计 已创建 notes/_topics/dataflow-unbundled-databases.md
算法监狱与反馈循环 已创建 notes/_topics/data-ethics-privacy.md
监视与隐私转移 已创建 notes/_topics/data-ethics-privacy.md
数据是信息时代污染 已创建 notes/_topics/data-ethics-privacy.md

相关主题

从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。

主题索引

存储模型选型

比较关系型、键值、列式、文档与全文检索等存储模型的特性取舍与适用场景。

699 张卡片 · 63 本书

主题索引

分布式存储与复制

比较 GFS、HDFS、BigTable、MongoDB、RabbitMQ 等系统的租约、写确认、副本同步、选主与脑裂处理。

501 张卡片 · 64 本书

主题索引

指标与监控

时序模型与拉推采集、黄金指标与分位、探针与 APM、容量与负载、监控分层。

382 张卡片 · 58 本书

主题索引

分布式共识与领导者选举

比较分布式共识、领导者选举、副本数量与一致性模型的可靠性取舍。

376 张卡片 · 41 本书

主题索引

分布式事务与一致性

比较内部与外部一致性、XA/2PC/3PC、CAP 与 BASE,以及可靠事件队列、TCC、SAGA、AT 等柔性事务方案。

308 张卡片 · 61 本书

主题索引

远程调用与REST设计

比较 RPC 要解决的基本问题与历代框架取舍,以及 REST 的资源抽象、统一接口、成熟度与局限。

303 张卡片 · 53 本书

主题索引

领域事件与最终一致性

比较领域事件、消息中间件、事件总线与数据对账在跨聚合、跨服务一致性上的做法与取舍。

263 张卡片 · 46 本书

主题索引

一致性模型与CAP权衡

比较顺序一致性、线性一致性、外部一致性等一致性模型,以及 CAP、弱 CAP、HAT、PACELC 对系统取舍的刻画。

193 张卡片 · 49 本书

主题索引

数据交换格式设计

比较数据交换格式的简洁性、互通性与安全解析要求。

146 张卡片 · 38 本书

主题索引

系统扩展的维度

比较水平复制、按业务拆分与数据分片等不同维度的扩展手段及其适用问题。

134 张卡片 · 52 本书

主题索引

Broker 存储与读写路径

比较日志段与索引、页缓存与零拷贝、批次与压缩、保留清理与压实,以及副本放置对读写路径与堆积的影响。

118 张卡片 · 24 本书

主题索引

故障、部分失效与分布式时钟

比较故障与失效、部分失效、网络与超时的不确定性、时钟漂移与进程暂停,以及系统模型如何界定这些假设。

112 张卡片 · 41 本书

主题索引

隔离级别与并发控制

ACID 各自的边界,脏读、不可重复读、幻读与写偏斜分别由什么机制挡住:两阶段锁与意向锁、MVCC 快照与可见性判断、可串行化快照隔离的冲突检测,以及死锁成因、锁粒度与长事务的代价。

109 张卡片 · 18 本书

主题索引

存储常用数据结构

比较布隆过滤器、跳表、LSM 树、Merkle 树、Cuckoo 哈希等在存储系统中以空间或精度换效率的数据结构。

108 张卡片 · 30 本书

主题索引

投递语义:不丢与不重

比较至少一次、最多一次、恰好一次与幂等的组合,确认、重投、死信与补偿怎样把「不丢不重」落成可实现的条件。

107 张卡片 · 35 本书

主题索引

服务水平目标与错误预算

比较如何定义 SLI/SLO/SLA、设定可靠性目标,以及用错误预算平衡稳定性与变更速度。

107 张卡片 · 23 本书

主题索引

流处理模型与语义:拓扑、分组与时间

把流当成持续计算来看:拓扑与算子、无界与有界的区别、分组与重分区、键与时间的语义、CEP 与关联操作,以及批流合一与 Lambda/Kappa 的取舍。

105 张卡片 · 25 本书

主题索引

数据集成与分拆:一份真源与多份衍生

多个数据系统怎样连成一套:分拆数据库与读写路径、CDC 与日志捕获、双写与发件箱、数据共享与缓存复制、数据湖与湖仓分工、端到端正确性与可审计性。

103 张卡片 · 23 本书

主题索引

路由、订阅与寻址

比较交换器与绑定、主题与标签过滤、订阅与广播扇出,以及 vhost、联邦与协议网关等多租户和跨集群寻址方式。

97 张卡片 · 38 本书

主题索引

分布边界与远程接口

何时才需要分布、远程接口为何要粗粒度,以及远程外观、数据传输对象与序列化格式的设计。

93 张卡片 · 29 本书

主题索引

日志、崩溃与恢复

预写日志与 redo/undo 的分工,检查点与日志截断,崩溃恢复的重做与回滚阶段,以及不同存储引擎在提交、刷盘与恢复时间上的取舍。

88 张卡片 · 27 本书

主题索引

软件质量属性的取舍

比较内部与外部质量、多准则权衡以及“先满足当前需求”在不同质量目标之间的取舍方法。

84 张卡片 · 24 本书

主题索引

Lambda架构与数据系统分层

比较以不可变主数据、批处理层、服务层与速度层构建数据系统的思路,以及重算、增量与视图合并的取舍。

83 张卡片 · 17 本书

主题索引

倒排索引与查询处理

比较全文检索的索引粒度、倒排列表压缩、签名文件与位图、布尔查询加速与索引构造算法,以及压缩索引如何同时省空间和提速。

80 张卡片 · 19 本书

主题索引

业务事务与离线并发

业务事务比系统事务长得多,中间隔着用户思考时间:乐观离线锁与悲观离线锁怎么选、粗粒度锁与隐含锁的代价、版本号与条件更新怎样防止覆盖、预留与冻结怎样替代事后校验,以及离线并发为什么能免则免。

79 张卡片 · 28 本书

主题索引

批处理与 DAG:MapReduce 的代价与图执行

批量计算的执行模型:Map 与 Reduce 的边界、Shuffle 为什么是成本中心、本地性与重算代价、DAG 怎样突破两阶段落盘、作业链与调度怎样编排,以及 MapReduce 这类模型能解决与不能解决的边界。

73 张卡片 · 19 本书

主题索引

RPC重试与期限管理

比较远程调用在不同失败语义下的重试条件、幂等边界、总期限与目标节点选择。

61 张卡片 · 25 本书

主题索引

状态与容错:状态存哪、错了怎么恢复

有状态流处理的存储与恢复:键控状态与算子状态、本地与外部状态、变更日志与检查点、精确一次与幂等、ACK 与重放、状态规模爆炸与迁移重建。

58 张卡片 · 8 本书

主题索引

批处理作业的写法:连接、聚合与作业抽象

同一批数据要算成什么:分组与归约怎样切、连接在 Map 侧还是 Reduce 侧做、排序与抽样怎样只走一遍、作业图怎样抽象成可复用的片段(管道图、宏、组合聚合),以及这些写法的代价与边界。

57 张卡片 · 8 本书

主题索引

形态与交互:通道、总线还是代理

消息系统的形态与连接方式:通道、消息总线、代理还是对等、请求-回复与关联号、协议与序列化契约、中间件选型指标。

55 张卡片 · 29 本书

主题索引

消费进度与位移:消费到哪了

消费到哪:位移为什么要持久化、提交的是下一位、同步与异步提交的取舍、重置与回溯、位移保留与清理、滞后量怎么算。

48 张卡片 · 11 本书

主题索引

流式窗口与事件时间

比较固定与滑动统计窗口、事件时间和水位线,以及晚到数据的归属与修正策略。

39 张卡片 · 12 本书

主题索引

图计算:切分、BSP 与迭代

以图为一等对象的计算怎么做:图为什么和存储耦合、点切与边切怎么权衡、顶点中心编程与消息传递、BSP 超级步与同步异步取舍、迭代代价与检查点,以及连通分量、二度关联这类图算法的落地方式。

30 张卡片 · 6 本书

主题索引

数据伦理与隐私

比较预测性分析的偏见与问责、监视式数据收集与隐私决定权,以及数据保护的立法与行业自律。

29 张卡片 · 13 本书

主题索引

大数据平台:分层、湖仓与引擎选型

这些计算跑在什么上面:大数据的边界怎么定义、平台分几层(存储/计算/调度/资源)、数据湖与湖仓的分工、批流查询引擎各自的位置与切换条件,以及平台从集群到云服务的演进。

25 张卡片 · 13 本书