来源书籍

数据密集型应用系统设计

Skill 版本:v23 分布式系统类 经典原理(高信息浓度 + 高稳定性) 194 张卡片

Martin Kleppmann · 冯若航 译

类别清单覆盖

尚未完成类别清单核对。

全书导读

本书是 Martin Kleppmann《Designing Data-Intensive Applications》的社区中文译本(译者冯若航)。作者的目标不是介绍某个数据库的用法,而是讲清楚各种数据系统背后持续成立的原理和权衡:它们如何工作、为什么这样工作、选型时该问哪些问题。

全书 12 章分三部分:第一部分(第 1–4 章)讲单机数据系统的基础——可靠性、可伸缩性、可维护性,数据模型,存储引擎,编码与演化;第二部分(第 5–9 章)讲数据分布到多台机器后的问题——复制、分区、事务、分布式系统的故障、一致性与共识;第三部分(第 10–12 章)讲由多个系统组合而成的衍生数据架构——批处理、流处理,以及作者对数据系统未来的看法和数据伦理。

阅读时注意:书中引用的产品版本(如 MongoDB、Kafka、Spark 的具体功能)反映的是 2017 年前后的状态;第 12 章明确是作者的个人观点和推测。

全书主线

全书反复出现几个主题:

  1. 没有万能方案,只有权衡:数据模型、存储引擎、复制方式、隔离级别、一致性模型,每一种选择都在读写代价、延迟、可用性和正确性之间取舍。作者要求读者先说清楚负载假设和要应对的故障类型,再谈选型。
  2. 日志是贯穿全书的核心结构:从存储引擎的追加日志和预写日志,到复制日志、全序广播、基于日志的消息代理、变更数据捕获和事件溯源,同一个“仅追加、有序”的结构反复出现。
  3. 分布式系统中什么都可能出错:网络、时钟、进程暂停都不可靠,节点不能相信自己的判断,需要法定人数、防护令牌和共识。
  4. 记录系统与衍生数据:把权威数据和由它衍生的索引、缓存、视图区分开,用确定性、可重放的转换维护衍生数据,比分布式事务更稳健,也更容易演化。
  5. 正确性要端到端考虑:低层的可靠机制不能替代应用层的幂等、去重和审计。

简介

简介部分是社区译本的说明、译者序和题词,说明本书的翻译背景,没有独立的知识论述。

序言

序言说明数据密集型应用的定义:数据量、复杂度或变化速度是主要挑战,与之相对的是计算密集型。作者希望读者深挖时髦词汇背后的原则,理解工具的适用场景与陷阱;本书不讲具体软件的安装使用,也不覆盖部署、运维、安全等领域。

第一部分:数据系统的基石

第一部分讨论无论单机还是分布式都适用的基础概念。

第一章:可靠性、可伸缩性、可维护性

第 1 章先说明组合工具即成为系统设计者:缓存、索引、消息队列被组合使用后,开发者也就成了数据系统设计者,需要关注可靠性、可伸缩性、可维护性三个问题。

可靠性方面,故障不同于失效区分局部的故障和整体的失效,容错的目标是阻止前者升级为后者;主动触发故障说明主动杀死进程以持续检验容错逻辑;三类故障来源区分硬件、软件系统性错误和人为错误三类来源及其应对。

可伸缩性方面,推特时间线的扇出用推特时间线说明“写时扇出”与“读时聚合”的权衡,可伸缩架构依负载假设指出可伸缩架构依赖负载假设,伸缩的两个维度比较纵向与横向伸缩。描述性能时,响应时间不等于延迟区分响应时间与延迟,百分位与尾部延迟说明用百分位而不是平均值,以及尾部延迟放大;百分位要合并直方图补充百分位不能求平均,聚合时要合并直方图。

可维护性方面,可维护性三支柱把它拆成可操作性、简单性(消除额外复杂度)和可演化性。

原书依据 · 11 处

第二章:数据模型与查询语言

数据模型分层抽象说明数据模型是层层叠加的抽象。关系与文档模型的比较中,阻抗不匹配与局部性讲阻抗不匹配和文档的局部性,用ID实现规范化说明用 ID 实现规范化与多对一关系,关系模型胜在优化器回顾层次、网络与关系模型之争,关系模型胜在查询优化器,读时模式与写时模式把“无模式”更准确地称为读时模式。按关系类型选数据模型总结选哪种模型取决于数据项之间的关系种类,并指出两类数据库正在融合。

查询语言方面,声明式查询的三个优点说明声明式查询的三个优点,MapReduce居于中间说明 MapReduce 介于声明式与命令式之间。图模型方面,属性图模型介绍属性图,变长路径查询的差距用变长路径查询比较 Cypher 与 SQL,三元组存储与SPARQL介绍三元组存储与 SPARQL,图数据库不是CODASYL区分图数据库与 CODASYL,Datalog的可组合规则说明 Datalog 规则的可组合性。

原书依据 · 13 处

第三章:存储与检索

索引以写入换读取指出索引以写入代价换读取速度。日志结构一派中,哈希索引与段压缩讲哈希索引与段压缩,SSTable的排序收益讲 SSTable 排序的收益,LSM树与预写日志讲 LSM 树与预写日志,布隆过滤器省磁盘读讲布隆过滤器。就地更新一派中,B树与页面结构讲 B 树与页面结构,B树与LSM树的权衡比较 B 树与 LSM 树。其他索引结构包括堆文件聚簇与覆盖索引、多列查询与多维索引和模糊索引与编辑距离(Lucene 用自动机支持编辑距离搜索);内存数据库快在免编码指出内存数据库快在省去编码开销,而不是不读磁盘。

分析型存储方面,OLTP与OLAP的差异比较 OLTP 与 OLAP,星型模式介绍星型模式,列式存储介绍列式存储与压缩,列存的排序与写入说明列存的排序、多排序副本与借助 LSM 写入,物化视图与数据立方体介绍物化视图与数据立方体。

原书依据 · 16 处

第四章:编码与演化

兼容要向前也向后说明滚动升级下新旧代码与数据共存,需要向前和向后兼容。编码格式方面,语言内置序列化三问题指出语言内置序列化的问题,JSON数值的精度陷阱讲 JSON 数值精度陷阱,字段标签号与模式演变讲 Thrift 与 Protobuf 靠字段标签号演化,Avro的读写模式匹配讲 Avro 的读写模式匹配,Avro的Writer模式来源说明 Reader 如何取得 Writer 模式以及 Avro 对动态生成模式的友好,模式即永不过时的文档总结模式的价值。

数据流方面,数据活得比代码久指出数据活得比代码久;RPC的根本缺陷说明 RPC 把网络调用伪装成本地调用的根本缺陷,服务演化的兼容方向说明服务演化时请求向后兼容、响应向前兼容,以及 REST 与 RPC 的分工;消息代理的可靠性讲消息代理的好处,Actor的位置透明更可行说明位置透明在 Actor 模型中比在 RPC 中更可行。

原书依据 · 12 处

第二部分:分布式数据

三种伸缩架构说明分布数据的三个理由,比较共享内存、共享磁盘和无共享架构,并引出复制与分区两种方式。

原书依据 · 1 处

第五章:复制

复制的三种架构概括单主、多主、无主三种复制架构。单主复制中,同步与异步复制比较同步与异步复制,新从库靠快照加日志位置说明新从库如何靠快照加日志位置追上主库,故障切换三重风险列出故障切换的风险,复制日志四种实现比较复制日志的四种实现,复制延迟三种异常说明复制延迟带来的读己之写、单调读、一致前缀读问题。

多主复制中,多主复制适用场景讲适用场景,写冲突与收敛策略讲写冲突与收敛策略,自动冲突解决的三条路线讲自定义与自动冲突解决(CRDT、可合并持久数据结构、操作转换),多主复制拓扑讲复制拓扑。无主复制中,无主复制与法定人数讲法定人数与读修复,法定人数的边缘陷阱讲法定人数的边缘陷阱,量化最终一致的陈旧度主张量化最终一致的陈旧度,并发与版本向量讲用版本向量检测并发写入。

原书依据 · 14 处

第六章:分区

分区目标是均匀说明分区的目标是均匀分布、避免热点。键范围分区讲键范围分区,哈希分区与复合键讲哈希分区与复合键,单键热点靠应用拆分讲单键热点只能靠应用拆分。二级索引分区比较按文档与按关键词分区的二级索引。分区再平衡策略比较固定数量、动态和按节点比例的再平衡策略,自动再平衡的风险提醒自动再平衡与自动故障检测结合的风险,请求路由讲请求路由。

原书依据 · 8 处

第七章:事务

ACID 方面,原子性即可中止性把原子性理解为可中止性,一致性属于应用指出一致性属于应用,持久性只有降风险手段说明持久性只有一组降低风险的手段,单对象原子操作不算事务指出单对象原子操作不算事务。多对象事务的必要性说明多对象事务的必要性,重试的四个局限列出重试的局限。

弱隔离级别方面,读已提交的实现讲读已提交的实现;转账中途读到余额凭空减少描述转账过程中读到总额凭空减少的读取偏差,解决办法是快照隔离与MVCC中的快照隔离与 MVCC;可重复读名不副实指出“可重复读”名不副实。并发读改写余额丢失更新描述并发读改写余额导致的丢失更新,对应防丢失更新四手段中的四种防护手段。写偏差讲写偏差,并发消费插入导致余额为负描述并发消费插入导致余额为负的双重开支,幻读与物化冲突讲幻读与物化冲突。

可串行化方面,可串行化三条路径比较真的串行执行、两阶段锁和可串行化快照隔离三条路径,谓词锁与索引范围锁讲谓词锁与索引范围锁,可串行化快照隔离讲可串行化快照隔离如何检测过时前提。

原书依据 · 18 处

第八章:分布式系统的麻烦

部分失效的不确定性说明部分失效的不确定性。网络方面,网络故障无法区分指出请求丢失、节点故障和响应丢失无法区分,超时设置的两难讲超时的两难,超时要靠实测与自适应主张通过实测和 Phi Accrual 等自适应方法确定超时,网络延迟源于排队说明网络延迟源于排队,是成本与收益权衡的结果。

时钟方面,日历时钟与单调钟区分日历时钟与单调钟,LWW因时钟丢更新说明依赖时钟的“最后写入胜利”会丢更新,时钟读数是置信区间说明时钟读数是置信区间(Spanner TrueTime)。进程暂停方面,进程暂停与租约用租约例子说明暂停的危险,把GC暂停当计划内中断介绍把 GC 暂停当作计划内中断等缓解方法。

知识与真相方面,防护令牌介绍防护令牌,拜占庭容错的边界讨论拜占庭容错的适用边界,防御弱形式的谎言给出防御弱形式谎言的实用措施,系统模型介绍系统模型,安全性与活性区分安全性与活性。

原书依据 · 15 处

第九章:一致性与共识

线性一致性方面,线性一致性的定义给出定义,线性一致与可串行化区分它与可串行化,需要线性一致的场景列出需要它的场景,双信道之间的竞态用照片缩放例子说明两个信道之间的竞态,复制方式与线性一致比较各种复制方式能否实现线性一致,CAP的狭窄含义说明 CAP 的狭窄含义,线性一致的延迟代价说明线性一致的延迟代价。

顺序方面,因果顺序是偏序说明因果顺序是偏序,捕获因果依赖讲如何捕获因果依赖,非因果序列号生成器指出常见序列号生成器与因果不一致,兰伯特时间戳介绍兰伯特时间戳,全序需要尘埃落定说明唯一性约束需要知道全序何时尘埃落定,全序广播介绍全序广播,全序广播与线性存储说明它与线性一致存储可以相互实现。

分布式事务与共识方面,原子提交与2PC介绍原子提交与 2PC,2PC协调者失效讲协调者失效与存疑事务,内部事务与XA事务比较数据库内部事务与 XA 事务,共识与FLP讲共识的形式化与 FLP,纪元编号与法定人数讲纪元编号与两轮法定人数,共识算法的代价讲共识算法的代价,ZooKeeper的用途讲 ZooKeeper 的用途。共识等价的六类问题总结六类等价于共识的问题,以及单领导者只是把共识推迟到别处。

原书依据 · 22 处

第三部分:衍生数据

记录系统与衍生数据区分记录系统与衍生数据系统,指出区别不在工具而在使用方式,这是第三部分的贯穿视角。

原书依据 · 1 处

第十章:批处理

服务批处理与流处理区分服务、批处理和流处理三类系统。Unix 工具方面,排序与内存聚合比较排序与内存聚合,Unix哲学三原则总结 Unix 哲学的统一接口、逻辑与布线分离、透明可实验。

MapReduce 方面,HDFS与计算贴近数据讲 HDFS 与计算贴近数据,MapReduce执行模型讲执行模型,作业链靠目录与调度器讲作业如何靠目录和调度器链成工作流。连接方面,排序合并连接讲排序合并连接,连接中的热键补偿讲热键补偿,Map侧连接三变体讲 Map 侧连接的三种变体。输出方面,不可变输出与人类容错主张不可变输出带来人类容错。与 MPP 数据库的比较中,读时模式与数据湖讲读时模式与数据湖,任意代码与声明式查询讲任意代码与声明式查询,MapReduce为抢占而设计说明 MapReduce 为频繁抢占而设计。

MapReduce 之后,数据流引擎的算子介绍数据流引擎的算子,谱系重算与确定性讲谱系重算与确定性,Pregel图批处理介绍 Pregel 图批处理。

原书依据 · 16 处

第十一章:流处理

无界输入的连锁反应说明无界输入带来的变化。传递事件流方面,消息系统的设计选择列出消息系统的两个设计问题,直接消息传递的局限讲直接消息传递的局限,消息代理与数据库比较消息代理与数据库,负载均衡与扇出讲负载均衡与扇出,基于日志的消息代理介绍基于日志的消息代理,消费者偏移量讲消费者偏移量,重播旧消息讲重播旧消息。

数据库与流方面,双写的竞态条件说明双写的竞态,变更数据捕获介绍变更数据捕获,事件溯源与CDC比较事件溯源与 CDC,状态与流说明状态与流互为积分与微分,写入形式与读取视图分离说明把写入形式与读取视图分离(CQRS)以及对并发控制的影响,不变性的局限讨论不变性的局限。

流处理方面,流处理的四种用途列出四种用途,事件时间与处理时间区分事件时间与处理时间,窗口何时准备好讨论窗口何时就绪,窗口的四种类型介绍四种窗口,三种流连接介绍三种流连接,流处理的恰好一次讲恰好一次语义,流处理器状态的恢复讲流处理器状态的恢复。

原书依据 · 21 处

第十二章:数据系统的未来

数据集成方面,没有万能数据工具指出没有万能数据工具,日志集成优于分布式事务主张以日志集成而非分布式事务,全序广播的伸缩限制说明全序广播的伸缩限制,捕获因果的排序讨论如何捕获因果。批流处理方面,批流统一与函数式讲批流统一与函数式风格,渐进式演化用铁路轨距说明渐进式演化,Lambda架构的问题指出 Lambda 架构的问题,统一批流的三项能力列出统一批流的三项能力。

分拆数据库方面,Unix与关系数据库比较 Unix 与关系数据库的哲学,联合与分拆数据库区分联合与分拆,分拆追求广度说明分拆追求广度,应用代码即衍生函数把应用代码看作衍生函数,围绕数据流构建应用主张围绕数据流构建应用,写路径与读路径说明缓存与索引改变的是写路径与读路径的边界,有状态离线客户端讨论有状态的离线客户端,读也是事件提出读也是事件。

将事情做正确方面,断线重试导致重复转账描述断线重试导致重复转账的问题,端到端原则与幂等给出端到端请求 ID 的解法;日志实现唯一性约束说明用分区日志实现唯一性约束和跨分区转账,及时性与完整性区分及时性与完整性,宽松地解释约束说明很多约束可以宽松解释、事后补偿,信任但验证主张信任但验证,为可审计性而设计讲为可审计性而设计。

做正确的事情方面,算法监狱与反馈循环讨论算法监狱与反馈循环,监视与隐私转移讨论监视与隐私转移,数据是信息时代污染把数据比作信息时代的污染。

原书依据 · 26 处

术语表

术语表给出全书主要术语的简短定义(异步、原子、背压、拜占庭故障、CAP、因果、共识等),并指向正文章节;这些概念已在上述各章卡片中展开。

生成进度与管理记录

数据密集型应用系统设计

Skill 版本:v7

  • 本次实际使用规则:book-notes v23 / book-workflow v4(2026-10-24 轻量模式升级:全文重读、补建覆盖记录与整书笔记、新增 29 张知识卡,含 4 张资金安全问题卡);历史 v8 S4 处理记录与审查报告保留,详见 _workflow.md。

作者:Martin Kleppmann;译者:冯若航(社区中文译本,原名《Designing Data-Intensive Applications》)

执行模式:light

建档进度:done

整书笔记:_book_note.md(schema 1;SHA-256 cd4429f2dbeeeda8f002d8be4973986c449d57d288f8afcae9cc7b4b928e9afc)

整体评级

四象限结论:经典原理(高信息浓度 + 高稳定性)

评级理由:

信息浓度极高:全书系统讲解数据系统设计决策背后的“为什么”,而不是任何产品的操作手册——区分故障与失效、用百分位衡量响应时间、写时扇出与读时聚合的权衡、LSM 树与 B 树的取舍、复制延迟引起的三种异常、弱隔离级别下的丢失更新与写偏差、线性一致与因果一致的区别、共识与原子提交的等价关系、用确定性衍生函数和端到端请求 ID 维护正确性,每个结论都有完整的推理和反例。

稳定性很高:书中援引 Kafka、Cassandra、PostgreSQL、Hadoop、Spark 等系统作为例证,具体功能会随版本变化,但复制、分区、事务、一致性、批流处理这些问题及其权衡长期成立;第 12 章明确为作者观点和推测,数据伦理部分的论述也不依赖具体技术。

类别:分布式系统类

内容形态:概念解析型 + 案例型(含资金安全相关的并发与幂等案例)。

章节进度追踪表

章节号 章节标题 状态(pending/done) 卡片数
00-简介 简介 done 0
00-序言 序言 done 0
P1 第一部分:数据系统的基石 done 0
01 第一章:可靠性、可伸缩性、可维护性 done 11
02 第二章:数据模型与查询语言 done 13
03 第三章:存储与检索 done 16
04 第四章:编码与演化 done 12
P2 第二部分:分布式数据 done 1
05 第五章:复制 done 14
06 第六章:分区 done 8
07 第七章:事务 done 18
08 第八章:分布式系统的麻烦 done 15
09 第九章:一致性与共识 done 22
P3 第三部分:衍生数据 done 1
10 第十章:批处理 done 16
11 第十一章:流处理 done 21
12 第十二章:数据系统的未来 done 26
G 术语表 done 0

非正文排除

spine项 类型 排除理由
0 / titlepage.xhtml 封面 仅封面
1 / SUMMARY.html 目录/导航 纯目录或章节索引导航
2 / index_split_000.html 章节标题页 仅有章节或部分标题
6 / index_split_004.html 目录/导航 纯目录或章节索引导航
7 / index_split_005.html 法律声明 译本授权与使用限制说明
8 / index_split_006.html 贡献者名单 译本校订与贡献名单
9 / index_split_007.html 协议 CC-BY 4.0 协议声明
10 / preface_split_000.html 章节标题页 仅有章节或部分标题
15 / preface_split_005.html 参考文献说明 说明参考文献与延伸阅读的获取方式
16 / preface_split_006.html 出版平台说明 O’Reilly Safari 平台介绍
18 / part-i_split_000.html 章节标题页 仅有章节或部分标题
20 / part-i_split_002.html 目录/导航 纯目录或章节索引导航
21 / ch1_split_000.html 章节标题页 仅有章节或部分标题
28 / ch1_split_007.html 参考文献 该章文献列表,正文引用已在卡片中按需说明
29 / ch2_split_000.html 章节标题页 仅有章节或部分标题
35 / ch2_split_006.html 参考文献 该章文献列表,正文引用已在卡片中按需说明
36 / ch3_split_000.html 章节标题页 仅有章节或部分标题
42 / ch3_split_006.html 参考文献 该章文献列表,正文引用已在卡片中按需说明
43 / ch4_split_000.html 章节标题页 仅有章节或部分标题
48 / ch4_split_005.html 参考文献 该章文献列表,正文引用已在卡片中按需说明
49 / part-ii_split_000.html 章节标题页 仅有章节或部分标题
52 / part-ii_split_003.html 目录/导航 纯目录或章节索引导航
53 / part-ii_split_004.html 参考文献 该章文献列表,正文引用已在卡片中按需说明
54 / ch5_split_000.html 章节标题页 仅有章节或部分标题
61 / ch5_split_007.html 参考文献 该章文献列表,正文引用已在卡片中按需说明
62 / ch6_split_000.html 章节标题页 仅有章节或部分标题
70 / ch6_split_008.html 参考文献 该章文献列表,正文引用已在卡片中按需说明
71 / ch7_split_000.html 章节标题页 仅有章节或部分标题
77 / ch7_split_006.html 参考文献 该章文献列表,正文引用已在卡片中按需说明
78 / ch8_split_000.html 章节标题页 仅有章节或部分标题
85 / ch8_split_007.html 参考文献 该章文献列表,正文引用已在卡片中按需说明
86 / ch9_split_000.html 章节标题页 仅有章节或部分标题
93 / ch9_split_007.html 参考文献 该章文献列表,正文引用已在卡片中按需说明
94 / part-iii_split_000.html 章节标题页 仅有章节或部分标题
98 / part-iii_split_004.html 目录/导航 纯目录或章节索引导航
99 / ch10_split_000.html 章节标题页 仅有章节或部分标题
105 / ch10_split_006.html 参考文献 该章文献列表,正文引用已在卡片中按需说明
106 / ch11_split_000.html 章节标题页 仅有章节或部分标题
112 / ch11_split_006.html 参考文献 该章文献列表,正文引用已在卡片中按需说明
113 / ch12_split_000.html 章节标题页 仅有章节或部分标题
120 / ch12_split_007.html 参考文献 该章文献列表,正文引用已在卡片中按需说明
121 / glossary_split_000.html 章节标题页 仅有章节或部分标题
123 / colophon_split_000.html 章节标题页 仅有章节或部分标题
124 / colophon_split_001.html 后记 作者与译者简介、封面动物说明
125 / colophon_split_002.html 后记 作者与译者简介、封面动物说明
126 / colophon_split_003.html 后记 作者与译者简介、封面动物说明

待关联术语

术语名 出现章节 一句话语境

引用文献

标题 类型 出现章节 一句话语境

实践卡进度

序号 实践标题 实践方式 状态(pending/done) 关联章节 产出
idea-001 etcd-raft库源码深读:映射书中共识机制 实现深读 done 第9章 阅读单元对照表+状态转移图规划
idea-002 Raft、Paxos、ZAB三种共识算法横向比较 横向学习 done 第9章 九维度对照表规划
idea-003 Kafka日志压缩实现深读:映射书中CDC机制 实现深读 done 第11章 阅读单元对照表+差异清单规划
idea-004 Jepsen真实故障报告观察:线性一致性声明的实际失效 真实任务 done 第8/9/12章 案例对照笔记规划

实践候选筛选:done

本次升级复用 4 张旧实践卡,未新增。未采用候选:为 cardbox 导入流程设计端到端请求 ID(现有导入是本地单进程、可整体重跑,没有跨网络重试场景);用百分位监控批次处理耗时(批次数量少,统计意义不足);把批次日志改造成事件溯源(现有放行清单与对账记录已满足审计需要)。

资金安全问题案例

问题标题 问题卡 解决方案卡(如有) 出现章节 一句话说明
转账中途读取偏差 [[转账中途读到余额凭空减少]] [[快照隔离与MVCC]] 07 读已提交下转账进行中读到两个账户不同时间点的余额,总额少了100美元;备份与完整性检查不能容忍
余额读改写丢失更新 [[并发读改写余额丢失更新]] [[防丢失更新四手段]] 07 两个事务对同一余额读取-修改-写入,一次修改被静默覆盖
双重开支使余额为负 [[并发消费插入导致余额为负]] [[可串行化三条路径]] 07 两笔消费各自检查余额后插入,写偏差使余额变负,快照隔离不能防止
断线重试重复转账 [[断线重试导致重复转账]] [[端到端原则与幂等]] 12 COMMIT 后连接超时重试非幂等转账,可能转出两倍金额

历史记录(保留,不作为本次验收依据)

类别清单核对(分布式系统类)
维度 覆盖状态 关联卡片标题或未覆盖理由
一致性模型 已覆盖 线性一致性的定义;线性一致与可串行化;因果顺序是偏序;及时性与完整性
共识算法 已覆盖 共识与FLP;纪元编号与法定人数;ZooKeeper的用途
容错假设 已覆盖 拜占庭容错的边界;系统模型
时钟与顺序问题 已覆盖 日历时钟与单调钟;时钟读数是置信区间;非因果序列号生成器;兰伯特时间戳
分区处理策略(CAP权衡) 已覆盖 CAP的狭窄含义;线性一致的延迟代价
复制与数据分布 已覆盖 复制的三种架构;哈希分区与复合键;二级索引分区
幂等与重试设计 已覆盖 流处理的恰好一次;端到端原则与幂等;日志实现唯一性约束
主题索引维护(2026-09-25 v8 S4)

本书覆盖数据系统的存储、复制、分区、事务、一致性与批流处理;卡片主要并入已有的存储模型、存储数据结构、复制、分片、事务、一致性、共识、批流计算与 Lambda 架构等主题,新建消息代理与事件日志、故障与分布式时钟、数据流与分拆数据库、数据伦理与隐私 4 个主题。

卡片标题 结论 主题文件或原因
故障不同于失效 已创建 notes/_topics/faults-partial-failure-clocks.md
主动触发故障 已创建 notes/_topics/faults-partial-failure-clocks.md
三类故障来源 已创建 notes/_topics/faults-partial-failure-clocks.md
响应时间不等于延迟 已复用 notes/_topics/slo-error-budget.md
百分位与尾部延迟 已复用 notes/_topics/slo-error-budget.md
推特时间线的扇出 已复用 notes/_topics/scalability-dimensions.md
可伸缩架构依负载假设 已复用 notes/_topics/scalability-dimensions.md
伸缩的两个维度 已复用 notes/_topics/scalability-dimensions.md
可维护性三支柱 已复用 notes/_topics/software-quality-tradeoffs.md
数据模型分层抽象 已复用 notes/_topics/storage-model-choices.md
阻抗不匹配与局部性 已复用 notes/_topics/storage-model-choices.md
用ID实现规范化 已复用 notes/_topics/storage-model-choices.md
关系模型胜在优化器 已复用 notes/_topics/storage-model-choices.md
声明式查询的三个优点 已复用 notes/_topics/storage-model-choices.md
读时模式与写时模式 已复用 notes/_topics/storage-model-choices.md
属性图模型 已复用 notes/_topics/storage-model-choices.md
变长路径查询的差距 已复用 notes/_topics/storage-model-choices.md
图数据库不是CODASYL 已复用 notes/_topics/storage-model-choices.md
MapReduce居于中间 已复用 notes/_topics/storage-model-choices.md
Datalog的可组合规则 已复用 notes/_topics/storage-model-choices.md
索引以写入换读取 已复用 notes/_topics/storage-data-structures.md
哈希索引与段压缩 已复用 notes/_topics/storage-data-structures.md
SSTable的排序收益 已复用 notes/_topics/storage-data-structures.md
LSM树与预写日志 已复用 notes/_topics/storage-data-structures.md、notes/_topics/transaction-recovery-logging.md
布隆过滤器省磁盘读 已复用 notes/_topics/storage-data-structures.md
B树与页面结构 已复用 notes/_topics/storage-data-structures.md
B树与LSM树的权衡 已复用 notes/_topics/storage-data-structures.md
堆文件聚簇与覆盖索引 已复用 notes/_topics/storage-data-structures.md
多列查询与多维索引 已复用 notes/_topics/storage-data-structures.md
OLTP与OLAP的差异 已复用 notes/_topics/storage-model-choices.md
星型模式 已复用 notes/_topics/storage-model-choices.md
列式存储 已复用 notes/_topics/storage-model-choices.md
物化视图与数据立方体 已复用 notes/_topics/storage-model-choices.md
兼容要向前也向后 已复用 notes/_topics/data-interchange-formats.md
语言内置序列化三问题 已复用 notes/_topics/data-interchange-formats.md
JSON数值的精度陷阱 已复用 notes/_topics/data-interchange-formats.md
字段标签号与模式演变 已复用 notes/_topics/data-interchange-formats.md
Avro的读写模式匹配 已复用 notes/_topics/data-interchange-formats.md
模式即永不过时的文档 已复用 notes/_topics/data-interchange-formats.md
数据活得比代码久 已复用 notes/_topics/data-interchange-formats.md
RPC的根本缺陷 已复用 notes/_topics/rpc-rest-api.md
消息代理的可靠性 已创建 notes/_topics/message-brokers-event-logs.md
复制的三种架构 已复用 notes/_topics/distributed-storage-replication.md
同步与异步复制 已复用 notes/_topics/distributed-storage-replication.md
复制日志四种实现 已复用 notes/_topics/distributed-storage-replication.md
故障切换三重风险 已复用 notes/_topics/distributed-storage-replication.md
复制延迟三种异常 已复用 notes/_topics/distributed-storage-replication.md
多主复制适用场景 已复用 notes/_topics/distributed-storage-replication.md
写冲突与收敛策略 已复用 notes/_topics/distributed-storage-replication.md
多主复制拓扑 已复用 notes/_topics/distributed-storage-replication.md
无主复制与法定人数 已复用 notes/_topics/distributed-storage-replication.md
法定人数的边缘陷阱 已复用 notes/_topics/distributed-storage-replication.md
并发与版本向量 已复用 notes/_topics/distributed-storage-replication.md、notes/_topics/consistency-models.md
分区目标是均匀 已复用 notes/_topics/distributed-data-sharding.md
键范围分区 已复用 notes/_topics/distributed-data-sharding.md
哈希分区与复合键 已复用 notes/_topics/distributed-data-sharding.md
单键热点靠应用拆分 已复用 notes/_topics/distributed-data-sharding.md
二级索引分区 已复用 notes/_topics/distributed-data-sharding.md
分区再平衡策略 已复用 notes/_topics/distributed-data-sharding.md
自动再平衡的风险 已复用 notes/_topics/distributed-data-sharding.md
请求路由 已复用 notes/_topics/distributed-data-sharding.md
原子性即可中止性 已复用 notes/_topics/transactions-offline-concurrency.md
一致性属于应用 已复用 notes/_topics/transactions-offline-concurrency.md
多对象事务的必要性 已复用 notes/_topics/transactions-offline-concurrency.md
重试的四个局限 已复用 notes/_topics/transactions-offline-concurrency.md
读已提交的实现 已复用 notes/_topics/transactions-offline-concurrency.md
快照隔离与MVCC 已复用 notes/_topics/transactions-offline-concurrency.md
可重复读名不副实 已复用 notes/_topics/transactions-offline-concurrency.md
防丢失更新四手段 已复用 notes/_topics/transactions-offline-concurrency.md
写偏差 已复用 notes/_topics/transactions-offline-concurrency.md
幻读与物化冲突 已复用 notes/_topics/transactions-offline-concurrency.md
可串行化三条路径 已复用 notes/_topics/transactions-offline-concurrency.md
谓词锁与索引范围锁 已复用 notes/_topics/transactions-offline-concurrency.md
可串行化快照隔离 已复用 notes/_topics/transactions-offline-concurrency.md
部分失效的不确定性 已创建 notes/_topics/faults-partial-failure-clocks.md
网络故障无法区分 已创建 notes/_topics/faults-partial-failure-clocks.md
超时设置的两难 已创建 notes/_topics/faults-partial-failure-clocks.md
网络延迟源于排队 已创建 notes/_topics/faults-partial-failure-clocks.md
日历时钟与单调钟 已创建 notes/_topics/faults-partial-failure-clocks.md
LWW因时钟丢更新 已创建 notes/_topics/faults-partial-failure-clocks.md
时钟读数是置信区间 已创建 notes/_topics/faults-partial-failure-clocks.md
进程暂停与租约 已创建 notes/_topics/faults-partial-failure-clocks.md
防护令牌 已创建 notes/_topics/faults-partial-failure-clocks.md、notes/_topics/distributed-consensus.md
拜占庭容错的边界 已创建 notes/_topics/faults-partial-failure-clocks.md
系统模型 已创建 notes/_topics/faults-partial-failure-clocks.md
安全性与活性 已创建 notes/_topics/faults-partial-failure-clocks.md
线性一致性的定义 已复用 notes/_topics/consistency-models.md
线性一致与可串行化 已复用 notes/_topics/consistency-models.md
需要线性一致的场景 已复用 notes/_topics/consistency-models.md
复制方式与线性一致 已复用 notes/_topics/consistency-models.md
CAP的狭窄含义 已复用 notes/_topics/consistency-models.md
线性一致的延迟代价 已复用 notes/_topics/consistency-models.md
因果顺序是偏序 已复用 notes/_topics/consistency-models.md
捕获因果依赖 已复用 notes/_topics/consistency-models.md
非因果序列号生成器 已复用 notes/_topics/consistency-models.md
兰伯特时间戳 已复用 notes/_topics/consistency-models.md
全序需要尘埃落定 已复用 notes/_topics/consistency-models.md
全序广播 已复用 notes/_topics/distributed-consensus.md
全序广播与线性存储 已复用 notes/_topics/distributed-consensus.md
原子提交与2PC 已复用 notes/_topics/distributed-transactions.md
2PC协调者失效 已复用 notes/_topics/distributed-transactions.md
内部事务与XA事务 已复用 notes/_topics/distributed-transactions.md
共识与FLP 已复用 notes/_topics/distributed-consensus.md
纪元编号与法定人数 已复用 notes/_topics/distributed-consensus.md
共识算法的代价 已复用 notes/_topics/distributed-consensus.md
ZooKeeper的用途 已复用 notes/_topics/distributed-consensus.md
服务批处理与流处理 已复用 notes/_topics/big-data-compute-paradigms.md
排序与内存聚合 已复用 notes/_topics/big-data-compute-paradigms.md
Unix哲学三原则 已复用 notes/_topics/big-data-compute-paradigms.md
HDFS与计算贴近数据 已复用 notes/_topics/big-data-compute-paradigms.md
MapReduce执行模型 已复用 notes/_topics/big-data-compute-paradigms.md
排序合并连接 已复用 notes/_topics/big-data-compute-paradigms.md
连接中的热键补偿 已复用 notes/_topics/big-data-compute-paradigms.md
Map侧连接三变体 已复用 notes/_topics/big-data-compute-paradigms.md
不可变输出与人类容错 已复用 notes/_topics/big-data-compute-paradigms.md
读时模式与数据湖 已复用 notes/_topics/big-data-compute-paradigms.md
任意代码与声明式查询 已复用 notes/_topics/big-data-compute-paradigms.md
MapReduce为抢占而设计 已复用 notes/_topics/big-data-compute-paradigms.md
数据流引擎的算子 已复用 notes/_topics/big-data-compute-paradigms.md
谱系重算与确定性 已复用 notes/_topics/big-data-compute-paradigms.md
Pregel图批处理 已复用 notes/_topics/big-data-compute-paradigms.md
无界输入的连锁反应 已复用 notes/_topics/big-data-compute-paradigms.md
消息系统的设计选择 已创建 notes/_topics/message-brokers-event-logs.md
直接消息传递的局限 已创建 notes/_topics/message-brokers-event-logs.md
消息代理与数据库 已创建 notes/_topics/message-brokers-event-logs.md
负载均衡与扇出 已创建 notes/_topics/message-brokers-event-logs.md
基于日志的消息代理 已创建 notes/_topics/message-brokers-event-logs.md
消费者偏移量 已创建 notes/_topics/message-brokers-event-logs.md
重播旧消息 已创建 notes/_topics/message-brokers-event-logs.md
双写的竞态条件 已复用 notes/_topics/domain-events-eventual-consistency.md
变更数据捕获 已复用 notes/_topics/domain-events-eventual-consistency.md
事件溯源与CDC 已复用 notes/_topics/domain-events-eventual-consistency.md
状态与流 已复用 notes/_topics/domain-events-eventual-consistency.md
不变性的局限 已复用 notes/_topics/domain-events-eventual-consistency.md
流处理的四种用途 已复用 notes/_topics/big-data-compute-paradigms.md
事件时间与处理时间 已复用 notes/_topics/big-data-compute-paradigms.md
窗口何时准备好 已复用 notes/_topics/big-data-compute-paradigms.md
窗口的四种类型 已复用 notes/_topics/big-data-compute-paradigms.md
三种流连接 已复用 notes/_topics/big-data-compute-paradigms.md
流处理的恰好一次 已复用 notes/_topics/big-data-compute-paradigms.md
没有万能数据工具 已创建 notes/_topics/dataflow-unbundled-databases.md
日志集成优于分布式事务 已复用 notes/_topics/distributed-transactions.md
全序广播的伸缩限制 已创建 notes/_topics/dataflow-unbundled-databases.md
捕获因果的排序 已创建 notes/_topics/dataflow-unbundled-databases.md
批流统一与函数式 已复用 notes/_topics/lambda-architecture.md
渐进式演化 已复用 notes/_topics/lambda-architecture.md
Lambda架构的问题 已复用 notes/_topics/lambda-architecture.md
统一批流的三项能力 已复用 notes/_topics/lambda-architecture.md
Unix与关系数据库 已创建 notes/_topics/dataflow-unbundled-databases.md
联合与分拆数据库 已创建 notes/_topics/dataflow-unbundled-databases.md
分拆追求广度 已创建 notes/_topics/dataflow-unbundled-databases.md
应用代码即衍生函数 已创建 notes/_topics/dataflow-unbundled-databases.md
围绕数据流构建应用 已创建 notes/_topics/dataflow-unbundled-databases.md
写路径与读路径 已创建 notes/_topics/dataflow-unbundled-databases.md
有状态离线客户端 已创建 notes/_topics/dataflow-unbundled-databases.md
读也是事件 已创建 notes/_topics/dataflow-unbundled-databases.md
端到端原则与幂等 已创建 notes/_topics/dataflow-unbundled-databases.md、notes/_topics/distributed-transactions.md
日志实现唯一性约束 已创建 notes/_topics/dataflow-unbundled-databases.md
及时性与完整性 已创建 notes/_topics/dataflow-unbundled-databases.md、notes/_topics/consistency-models.md
宽松地解释约束 已创建 notes/_topics/dataflow-unbundled-databases.md
信任但验证 已创建 notes/_topics/dataflow-unbundled-databases.md
为可审计性而设计 已创建 notes/_topics/dataflow-unbundled-databases.md
算法监狱与反馈循环 已创建 notes/_topics/data-ethics-privacy.md
监视与隐私转移 已创建 notes/_topics/data-ethics-privacy.md
数据是信息时代污染 已创建 notes/_topics/data-ethics-privacy.md

相关主题

从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。

主题索引

存储模型选型

比较关系型、键值、列式、文档与全文检索等存储模型的特性取舍与适用场景。

699 张卡片 · 63 本书

主题索引

分布式存储与复制

比较 GFS、HDFS、BigTable、MongoDB、RabbitMQ 等系统的租约、写确认、副本同步、选主与脑裂处理。

501 张卡片 · 64 本书

主题索引

指标与监控

时序模型与拉推采集、黄金指标与分位、探针与 APM、容量与负载、监控分层。

382 张卡片 · 58 本书

主题索引

分布式共识与领导者选举

比较分布式共识、领导者选举、副本数量与一致性模型的可靠性取舍。

376 张卡片 · 41 本书

主题索引

分布式事务与一致性

比较内部与外部一致性、XA/2PC/3PC、CAP 与 BASE,以及可靠事件队列、TCC、SAGA、AT 等柔性事务方案。

308 张卡片 · 61 本书

主题索引

远程调用与REST设计

比较 RPC 要解决的基本问题与历代框架取舍,以及 REST 的资源抽象、统一接口、成熟度与局限。

303 张卡片 · 53 本书

主题索引

大数据计算范式

比较批处理、流式、交互式查询、图计算、分布式机器学习与增量计算的计算模型与取舍。

298 张卡片 · 32 本书

主题索引

领域事件与最终一致性

比较领域事件、消息中间件、事件总线与数据对账在跨聚合、跨服务一致性上的做法与取舍。

263 张卡片 · 46 本书

主题索引

一致性模型与CAP权衡

比较顺序一致性、线性一致性、外部一致性等一致性模型,以及 CAP、弱 CAP、HAT、PACELC 对系统取舍的刻画。

193 张卡片 · 49 本书

主题索引

事务与离线并发控制

系统事务的隔离与锁,以及跨越多个请求的业务事务如何用乐观/悲观离线锁、粗粒度锁和隐含锁保持一致。

188 张卡片 · 35 本书

主题索引

数据交换格式设计

比较数据交换格式的简洁性、互通性与安全解析要求。

146 张卡片 · 38 本书

主题索引

系统扩展的维度

比较水平复制、按业务拆分与数据分片等不同维度的扩展手段及其适用问题。

134 张卡片 · 52 本书

主题索引

Broker 存储与读写路径

比较日志段与索引、页缓存与零拷贝、批次与压缩、保留清理与压实,以及副本放置对读写路径与堆积的影响。

118 张卡片 · 24 本书

主题索引

故障、部分失效与分布式时钟

比较故障与失效、部分失效、网络与超时的不确定性、时钟漂移与进程暂停,以及系统模型如何界定这些假设。

112 张卡片 · 41 本书

主题索引

隔离级别与并发控制

ACID 各自的边界,脏读、不可重复读、幻读与写偏斜分别由什么机制挡住:两阶段锁与意向锁、MVCC 快照与可见性判断、可串行化快照隔离的冲突检测,以及死锁成因、锁粒度与长事务的代价。

109 张卡片 · 18 本书

主题索引

存储常用数据结构

比较布隆过滤器、跳表、LSM 树、Merkle 树、Cuckoo 哈希等在存储系统中以空间或精度换效率的数据结构。

108 张卡片 · 30 本书

主题索引

投递语义:不丢与不重

比较至少一次、最多一次、恰好一次与幂等的组合,确认、重投、死信与补偿怎样把「不丢不重」落成可实现的条件。

107 张卡片 · 35 本书

主题索引

服务水平目标与错误预算

比较如何定义 SLI/SLO/SLA、设定可靠性目标,以及用错误预算平衡稳定性与变更速度。

107 张卡片 · 23 本书

主题索引

流处理模型与语义:拓扑、分组与时间

把流当成持续计算来看:拓扑与算子、无界与有界的区别、分组与重分区、键与时间的语义、CEP 与关联操作,以及批流合一与 Lambda/Kappa 的取舍。

105 张卡片 · 25 本书

主题索引

数据集成与分拆:一份真源与多份衍生

多个数据系统怎样连成一套:分拆数据库与读写路径、CDC 与日志捕获、双写与发件箱、数据共享与缓存复制、数据湖与湖仓分工、端到端正确性与可审计性。

103 张卡片 · 23 本书

主题索引

路由、订阅与寻址

比较交换器与绑定、主题与标签过滤、订阅与广播扇出,以及 vhost、联邦与协议网关等多租户和跨集群寻址方式。

97 张卡片 · 38 本书

主题索引

分布边界与远程接口

何时才需要分布、远程接口为何要粗粒度,以及远程外观、数据传输对象与序列化格式的设计。

93 张卡片 · 29 本书

主题索引

事务日志与崩溃恢复

比较 Commit Logging、WAL、Shadow Paging 等保证原子性与持久性的日志与恢复机制。

88 张卡片 · 27 本书

主题索引

日志、崩溃与恢复

预写日志与 redo/undo 的分工,检查点与日志截断,崩溃恢复的重做与回滚阶段,以及不同存储引擎在提交、刷盘与恢复时间上的取舍。

88 张卡片 · 27 本书

主题索引

软件质量属性的取舍

比较内部与外部质量、多准则权衡以及“先满足当前需求”在不同质量目标之间的取舍方法。

84 张卡片 · 24 本书

主题索引

Lambda架构与数据系统分层

比较以不可变主数据、批处理层、服务层与速度层构建数据系统的思路,以及重算、增量与视图合并的取舍。

83 张卡片 · 17 本书

主题索引

倒排索引与查询处理

比较全文检索的索引粒度、倒排列表压缩、签名文件与位图、布尔查询加速与索引构造算法,以及压缩索引如何同时省空间和提速。

80 张卡片 · 19 本书

主题索引

业务事务与离线并发

业务事务比系统事务长得多,中间隔着用户思考时间:乐观离线锁与悲观离线锁怎么选、粗粒度锁与隐含锁的代价、版本号与条件更新怎样防止覆盖、预留与冻结怎样替代事后校验,以及离线并发为什么能免则免。

79 张卡片 · 28 本书

主题索引

批处理与 DAG:MapReduce 的代价与图执行

批量计算的执行模型:Map 与 Reduce 的边界、Shuffle 为什么是成本中心、本地性与重算代价、DAG 怎样突破两阶段落盘、作业链与调度怎样编排,以及 MapReduce 这类模型能解决与不能解决的边界。

73 张卡片 · 19 本书

主题索引

RPC重试与期限管理

比较远程调用在不同失败语义下的重试条件、幂等边界、总期限与目标节点选择。

61 张卡片 · 25 本书

主题索引

状态与容错:状态存哪、错了怎么恢复

有状态流处理的存储与恢复:键控状态与算子状态、本地与外部状态、变更日志与检查点、精确一次与幂等、ACK 与重放、状态规模爆炸与迁移重建。

58 张卡片 · 8 本书

主题索引

批处理作业的写法:连接、聚合与作业抽象

同一批数据要算成什么:分组与归约怎样切、连接在 Map 侧还是 Reduce 侧做、排序与抽样怎样只走一遍、作业图怎样抽象成可复用的片段(管道图、宏、组合聚合),以及这些写法的代价与边界。

57 张卡片 · 8 本书

主题索引

形态与交互:通道、总线还是代理

消息系统的形态与连接方式:通道、消息总线、代理还是对等、请求-回复与关联号、协议与序列化契约、中间件选型指标。

55 张卡片 · 29 本书

主题索引

消费进度与位移:消费到哪了

消费到哪:位移为什么要持久化、提交的是下一位、同步与异步提交的取舍、重置与回溯、位移保留与清理、滞后量怎么算。

48 张卡片 · 11 本书

主题索引

流式窗口与事件时间

比较固定与滑动统计窗口、事件时间和水位线,以及晚到数据的归属与修正策略。

39 张卡片 · 12 本书

主题索引

图计算:切分、BSP 与迭代

以图为一等对象的计算怎么做:图为什么和存储耦合、点切与边切怎么权衡、顶点中心编程与消息传递、BSP 超级步与同步异步取舍、迭代代价与检查点,以及连通分量、二度关联这类图算法的落地方式。

30 张卡片 · 6 本书

主题索引

数据伦理与隐私

比较预测性分析的偏见与问责、监视式数据收集与隐私决定权,以及数据保护的立法与行业自律。

29 张卡片 · 13 本书

主题索引

大数据平台:分层、湖仓与引擎选型

这些计算跑在什么上面:大数据的边界怎么定义、平台分几层(存储/计算/调度/资源)、数据湖与湖仓的分工、批流查询引擎各自的位置与切换条件,以及平台从集群到云服务的演进。

25 张卡片 · 13 本书