此笔记位置已失效,请从目录继续阅读。
全书导读
本书是 Martin Kleppmann《Designing Data-Intensive Applications》的社区中文译本(译者冯若航)。作者的目标不是介绍某个数据库的用法,而是讲清楚各种数据系统背后持续成立的原理和权衡:它们如何工作、为什么这样工作、选型时该问哪些问题。
全书 12 章分三部分:第一部分(第 1–4 章)讲单机数据系统的基础——可靠性、可伸缩性、可维护性,数据模型,存储引擎,编码与演化;第二部分(第 5–9 章)讲数据分布到多台机器后的问题——复制、分区、事务、分布式系统的故障、一致性与共识;第三部分(第 10–12 章)讲由多个系统组合而成的衍生数据架构——批处理、流处理,以及作者对数据系统未来的看法和数据伦理。
阅读时注意:书中引用的产品版本(如 MongoDB、Kafka、Spark 的具体功能)反映的是 2017 年前后的状态;第 12 章明确是作者的个人观点和推测。
全书主线
全书反复出现几个主题:
- 没有万能方案,只有权衡:数据模型、存储引擎、复制方式、隔离级别、一致性模型,每一种选择都在读写代价、延迟、可用性和正确性之间取舍。作者要求读者先说清楚负载假设和要应对的故障类型,再谈选型。
- 日志是贯穿全书的核心结构:从存储引擎的追加日志和预写日志,到复制日志、全序广播、基于日志的消息代理、变更数据捕获和事件溯源,同一个“仅追加、有序”的结构反复出现。
- 分布式系统中什么都可能出错:网络、时钟、进程暂停都不可靠,节点不能相信自己的判断,需要法定人数、防护令牌和共识。
- 记录系统与衍生数据:把权威数据和由它衍生的索引、缓存、视图区分开,用确定性、可重放的转换维护衍生数据,比分布式事务更稳健,也更容易演化。
- 正确性要端到端考虑:低层的可靠机制不能替代应用层的幂等、去重和审计。
简介
简介部分是社区译本的说明、译者序和题词,说明本书的翻译背景,没有独立的知识论述。
序言
序言说明数据密集型应用的定义:数据量、复杂度或变化速度是主要挑战,与之相对的是计算密集型。作者希望读者深挖时髦词汇背后的原则,理解工具的适用场景与陷阱;本书不讲具体软件的安装使用,也不覆盖部署、运维、安全等领域。
第一部分:数据系统的基石
第一部分讨论无论单机还是分布式都适用的基础概念。
第一章:可靠性、可伸缩性、可维护性
第 1 章先说明组合工具即成为系统设计者:缓存、索引、消息队列被组合使用后,开发者也就成了数据系统设计者,需要关注可靠性、可伸缩性、可维护性三个问题。
可靠性方面,故障不同于失效区分局部的故障和整体的失效,容错的目标是阻止前者升级为后者;主动触发故障说明主动杀死进程以持续检验容错逻辑;三类故障来源区分硬件、软件系统性错误和人为错误三类来源及其应对。
可伸缩性方面,推特时间线的扇出用推特时间线说明“写时扇出”与“读时聚合”的权衡,可伸缩架构依负载假设指出可伸缩架构依赖负载假设,伸缩的两个维度比较纵向与横向伸缩。描述性能时,响应时间不等于延迟区分响应时间与延迟,百分位与尾部延迟说明用百分位而不是平均值,以及尾部延迟放大;百分位要合并直方图补充百分位不能求平均,聚合时要合并直方图。
可维护性方面,可维护性三支柱把它拆成可操作性、简单性(消除额外复杂度)和可演化性。
第二章:数据模型与查询语言
数据模型分层抽象说明数据模型是层层叠加的抽象。关系与文档模型的比较中,阻抗不匹配与局部性讲阻抗不匹配和文档的局部性,用ID实现规范化说明用 ID 实现规范化与多对一关系,关系模型胜在优化器回顾层次、网络与关系模型之争,关系模型胜在查询优化器,读时模式与写时模式把“无模式”更准确地称为读时模式。按关系类型选数据模型总结选哪种模型取决于数据项之间的关系种类,并指出两类数据库正在融合。
查询语言方面,声明式查询的三个优点说明声明式查询的三个优点,MapReduce居于中间说明 MapReduce 介于声明式与命令式之间。图模型方面,属性图模型介绍属性图,变长路径查询的差距用变长路径查询比较 Cypher 与 SQL,三元组存储与SPARQL介绍三元组存储与 SPARQL,图数据库不是CODASYL区分图数据库与 CODASYL,Datalog的可组合规则说明 Datalog 规则的可组合性。
第三章:存储与检索
索引以写入换读取指出索引以写入代价换读取速度。日志结构一派中,哈希索引与段压缩讲哈希索引与段压缩,SSTable的排序收益讲 SSTable 排序的收益,LSM树与预写日志讲 LSM 树与预写日志,布隆过滤器省磁盘读讲布隆过滤器。就地更新一派中,B树与页面结构讲 B 树与页面结构,B树与LSM树的权衡比较 B 树与 LSM 树。其他索引结构包括堆文件聚簇与覆盖索引、多列查询与多维索引和模糊索引与编辑距离(Lucene 用自动机支持编辑距离搜索);内存数据库快在免编码指出内存数据库快在省去编码开销,而不是不读磁盘。
分析型存储方面,OLTP与OLAP的差异比较 OLTP 与 OLAP,星型模式介绍星型模式,列式存储介绍列式存储与压缩,列存的排序与写入说明列存的排序、多排序副本与借助 LSM 写入,物化视图与数据立方体介绍物化视图与数据立方体。
第四章:编码与演化
兼容要向前也向后说明滚动升级下新旧代码与数据共存,需要向前和向后兼容。编码格式方面,语言内置序列化三问题指出语言内置序列化的问题,JSON数值的精度陷阱讲 JSON 数值精度陷阱,字段标签号与模式演变讲 Thrift 与 Protobuf 靠字段标签号演化,Avro的读写模式匹配讲 Avro 的读写模式匹配,Avro的Writer模式来源说明 Reader 如何取得 Writer 模式以及 Avro 对动态生成模式的友好,模式即永不过时的文档总结模式的价值。
数据流方面,数据活得比代码久指出数据活得比代码久;RPC的根本缺陷说明 RPC 把网络调用伪装成本地调用的根本缺陷,服务演化的兼容方向说明服务演化时请求向后兼容、响应向前兼容,以及 REST 与 RPC 的分工;消息代理的可靠性讲消息代理的好处,Actor的位置透明更可行说明位置透明在 Actor 模型中比在 RPC 中更可行。
第二部分:分布式数据
三种伸缩架构说明分布数据的三个理由,比较共享内存、共享磁盘和无共享架构,并引出复制与分区两种方式。
原书依据 · 1 处
第五章:复制
复制的三种架构概括单主、多主、无主三种复制架构。单主复制中,同步与异步复制比较同步与异步复制,新从库靠快照加日志位置说明新从库如何靠快照加日志位置追上主库,故障切换三重风险列出故障切换的风险,复制日志四种实现比较复制日志的四种实现,复制延迟三种异常说明复制延迟带来的读己之写、单调读、一致前缀读问题。
多主复制中,多主复制适用场景讲适用场景,写冲突与收敛策略讲写冲突与收敛策略,自动冲突解决的三条路线讲自定义与自动冲突解决(CRDT、可合并持久数据结构、操作转换),多主复制拓扑讲复制拓扑。无主复制中,无主复制与法定人数讲法定人数与读修复,法定人数的边缘陷阱讲法定人数的边缘陷阱,量化最终一致的陈旧度主张量化最终一致的陈旧度,并发与版本向量讲用版本向量检测并发写入。
第七章:事务
ACID 方面,原子性即可中止性把原子性理解为可中止性,一致性属于应用指出一致性属于应用,持久性只有降风险手段说明持久性只有一组降低风险的手段,单对象原子操作不算事务指出单对象原子操作不算事务。多对象事务的必要性说明多对象事务的必要性,重试的四个局限列出重试的局限。
弱隔离级别方面,读已提交的实现讲读已提交的实现;转账中途读到余额凭空减少描述转账过程中读到总额凭空减少的读取偏差,解决办法是快照隔离与MVCC中的快照隔离与 MVCC;可重复读名不副实指出“可重复读”名不副实。并发读改写余额丢失更新描述并发读改写余额导致的丢失更新,对应防丢失更新四手段中的四种防护手段。写偏差讲写偏差,并发消费插入导致余额为负描述并发消费插入导致余额为负的双重开支,幻读与物化冲突讲幻读与物化冲突。
可串行化方面,可串行化三条路径比较真的串行执行、两阶段锁和可串行化快照隔离三条路径,谓词锁与索引范围锁讲谓词锁与索引范围锁,可串行化快照隔离讲可串行化快照隔离如何检测过时前提。
第八章:分布式系统的麻烦
部分失效的不确定性说明部分失效的不确定性。网络方面,网络故障无法区分指出请求丢失、节点故障和响应丢失无法区分,超时设置的两难讲超时的两难,超时要靠实测与自适应主张通过实测和 Phi Accrual 等自适应方法确定超时,网络延迟源于排队说明网络延迟源于排队,是成本与收益权衡的结果。
时钟方面,日历时钟与单调钟区分日历时钟与单调钟,LWW因时钟丢更新说明依赖时钟的“最后写入胜利”会丢更新,时钟读数是置信区间说明时钟读数是置信区间(Spanner TrueTime)。进程暂停方面,进程暂停与租约用租约例子说明暂停的危险,把GC暂停当计划内中断介绍把 GC 暂停当作计划内中断等缓解方法。
知识与真相方面,防护令牌介绍防护令牌,拜占庭容错的边界讨论拜占庭容错的适用边界,防御弱形式的谎言给出防御弱形式谎言的实用措施,系统模型介绍系统模型,安全性与活性区分安全性与活性。
原书依据 · 15 处
- 第八章:分布式系统的麻烦 · 查看原书依据
- 第八章:分布式系统的麻烦 · 查看原书依据
- 第八章:分布式系统的麻烦 · 查看原书依据
- 第八章:分布式系统的麻烦 · 查看原书依据
- 第八章:分布式系统的麻烦 · 查看原书依据
- 第八章:分布式系统的麻烦 · 查看原书依据
- 第八章:分布式系统的麻烦 · 查看原书依据
- 第八章:分布式系统的麻烦 · 查看原书依据
- 第八章:分布式系统的麻烦 · 查看原书依据
- 第八章:分布式系统的麻烦 · 查看原书依据
- 第八章:分布式系统的麻烦 · 查看原书依据
- 第八章:分布式系统的麻烦 · 查看原书依据
- 第八章:分布式系统的麻烦 · 查看原书依据
- 第八章:分布式系统的麻烦 · 查看原书依据
- 第八章:分布式系统的麻烦 · 查看原书依据
第九章:一致性与共识
线性一致性方面,线性一致性的定义给出定义,线性一致与可串行化区分它与可串行化,需要线性一致的场景列出需要它的场景,双信道之间的竞态用照片缩放例子说明两个信道之间的竞态,复制方式与线性一致比较各种复制方式能否实现线性一致,CAP的狭窄含义说明 CAP 的狭窄含义,线性一致的延迟代价说明线性一致的延迟代价。
顺序方面,因果顺序是偏序说明因果顺序是偏序,捕获因果依赖讲如何捕获因果依赖,非因果序列号生成器指出常见序列号生成器与因果不一致,兰伯特时间戳介绍兰伯特时间戳,全序需要尘埃落定说明唯一性约束需要知道全序何时尘埃落定,全序广播介绍全序广播,全序广播与线性存储说明它与线性一致存储可以相互实现。
分布式事务与共识方面,原子提交与2PC介绍原子提交与 2PC,2PC协调者失效讲协调者失效与存疑事务,内部事务与XA事务比较数据库内部事务与 XA 事务,共识与FLP讲共识的形式化与 FLP,纪元编号与法定人数讲纪元编号与两轮法定人数,共识算法的代价讲共识算法的代价,ZooKeeper的用途讲 ZooKeeper 的用途。共识等价的六类问题总结六类等价于共识的问题,以及单领导者只是把共识推迟到别处。
原书依据 · 22 处
- 第九章:一致性与共识 · 查看原书依据
- 第九章:一致性与共识 · 查看原书依据
- 第九章:一致性与共识 · 查看原书依据
- 第九章:一致性与共识 · 查看原书依据
- 第九章:一致性与共识 · 查看原书依据
- 第九章:一致性与共识 · 查看原书依据
- 第九章:一致性与共识 · 查看原书依据
- 第九章:一致性与共识 · 查看原书依据
- 第九章:一致性与共识 · 查看原书依据
- 第九章:一致性与共识 · 查看原书依据
- 第九章:一致性与共识 · 查看原书依据
- 第九章:一致性与共识 · 查看原书依据
- 第九章:一致性与共识 · 查看原书依据
- 第九章:一致性与共识 · 查看原书依据
- 第九章:一致性与共识 · 查看原书依据
- 第九章:一致性与共识 · 查看原书依据
- 第九章:一致性与共识 · 查看原书依据
- 第九章:一致性与共识 · 查看原书依据
- 第九章:一致性与共识 · 查看原书依据
- 第九章:一致性与共识 · 查看原书依据
- 第九章:一致性与共识 · 查看原书依据
- 第九章:一致性与共识 · 查看原书依据
第三部分:衍生数据
记录系统与衍生数据区分记录系统与衍生数据系统,指出区别不在工具而在使用方式,这是第三部分的贯穿视角。
原书依据 · 1 处
第十章:批处理
服务批处理与流处理区分服务、批处理和流处理三类系统。Unix 工具方面,排序与内存聚合比较排序与内存聚合,Unix哲学三原则总结 Unix 哲学的统一接口、逻辑与布线分离、透明可实验。
MapReduce 方面,HDFS与计算贴近数据讲 HDFS 与计算贴近数据,MapReduce执行模型讲执行模型,作业链靠目录与调度器讲作业如何靠目录和调度器链成工作流。连接方面,排序合并连接讲排序合并连接,连接中的热键补偿讲热键补偿,Map侧连接三变体讲 Map 侧连接的三种变体。输出方面,不可变输出与人类容错主张不可变输出带来人类容错。与 MPP 数据库的比较中,读时模式与数据湖讲读时模式与数据湖,任意代码与声明式查询讲任意代码与声明式查询,MapReduce为抢占而设计说明 MapReduce 为频繁抢占而设计。
MapReduce 之后,数据流引擎的算子介绍数据流引擎的算子,谱系重算与确定性讲谱系重算与确定性,Pregel图批处理介绍 Pregel 图批处理。
第十一章:流处理
无界输入的连锁反应说明无界输入带来的变化。传递事件流方面,消息系统的设计选择列出消息系统的两个设计问题,直接消息传递的局限讲直接消息传递的局限,消息代理与数据库比较消息代理与数据库,负载均衡与扇出讲负载均衡与扇出,基于日志的消息代理介绍基于日志的消息代理,消费者偏移量讲消费者偏移量,重播旧消息讲重播旧消息。
数据库与流方面,双写的竞态条件说明双写的竞态,变更数据捕获介绍变更数据捕获,事件溯源与CDC比较事件溯源与 CDC,状态与流说明状态与流互为积分与微分,写入形式与读取视图分离说明把写入形式与读取视图分离(CQRS)以及对并发控制的影响,不变性的局限讨论不变性的局限。
流处理方面,流处理的四种用途列出四种用途,事件时间与处理时间区分事件时间与处理时间,窗口何时准备好讨论窗口何时就绪,窗口的四种类型介绍四种窗口,三种流连接介绍三种流连接,流处理的恰好一次讲恰好一次语义,流处理器状态的恢复讲流处理器状态的恢复。
原书依据 · 21 处
- 第十一章:流处理 · 查看原书依据
- 第十一章:流处理 · 查看原书依据
- 第十一章:流处理 · 查看原书依据
- 第十一章:流处理 · 查看原书依据
- 第十一章:流处理 · 查看原书依据
- 第十一章:流处理 · 查看原书依据
- 第十一章:流处理 · 查看原书依据
- 第十一章:流处理 · 查看原书依据
- 第十一章:流处理 · 查看原书依据
- 第十一章:流处理 · 查看原书依据
- 第十一章:流处理 · 查看原书依据
- 第十一章:流处理 · 查看原书依据
- 第十一章:流处理 · 查看原书依据
- 第十一章:流处理 · 查看原书依据
- 第十一章:流处理 · 查看原书依据
- 第十一章:流处理 · 查看原书依据
- 第十一章:流处理 · 查看原书依据
- 第十一章:流处理 · 查看原书依据
- 第十一章:流处理 · 查看原书依据
- 第十一章:流处理 · 查看原书依据
- 第十一章:流处理 · 查看原书依据
第十二章:数据系统的未来
数据集成方面,没有万能数据工具指出没有万能数据工具,日志集成优于分布式事务主张以日志集成而非分布式事务,全序广播的伸缩限制说明全序广播的伸缩限制,捕获因果的排序讨论如何捕获因果。批流处理方面,批流统一与函数式讲批流统一与函数式风格,渐进式演化用铁路轨距说明渐进式演化,Lambda架构的问题指出 Lambda 架构的问题,统一批流的三项能力列出统一批流的三项能力。
分拆数据库方面,Unix与关系数据库比较 Unix 与关系数据库的哲学,联合与分拆数据库区分联合与分拆,分拆追求广度说明分拆追求广度,应用代码即衍生函数把应用代码看作衍生函数,围绕数据流构建应用主张围绕数据流构建应用,写路径与读路径说明缓存与索引改变的是写路径与读路径的边界,有状态离线客户端讨论有状态的离线客户端,读也是事件提出读也是事件。
将事情做正确方面,断线重试导致重复转账描述断线重试导致重复转账的问题,端到端原则与幂等给出端到端请求 ID 的解法;日志实现唯一性约束说明用分区日志实现唯一性约束和跨分区转账,及时性与完整性区分及时性与完整性,宽松地解释约束说明很多约束可以宽松解释、事后补偿,信任但验证主张信任但验证,为可审计性而设计讲为可审计性而设计。
做正确的事情方面,算法监狱与反馈循环讨论算法监狱与反馈循环,监视与隐私转移讨论监视与隐私转移,数据是信息时代污染把数据比作信息时代的污染。
原书依据 · 26 处
- 第十二章:数据系统的未来 · 查看原书依据
- 第十二章:数据系统的未来 · 查看原书依据
- 第十二章:数据系统的未来 · 查看原书依据
- 第十二章:数据系统的未来 · 查看原书依据
- 第十二章:数据系统的未来 · 查看原书依据
- 第十二章:数据系统的未来 · 查看原书依据
- 第十二章:数据系统的未来 · 查看原书依据
- 第十二章:数据系统的未来 · 查看原书依据
- 第十二章:数据系统的未来 · 查看原书依据
- 第十二章:数据系统的未来 · 查看原书依据
- 第十二章:数据系统的未来 · 查看原书依据
- 第十二章:数据系统的未来 · 查看原书依据
- 第十二章:数据系统的未来 · 查看原书依据
- 第十二章:数据系统的未来 · 查看原书依据
- 第十二章:数据系统的未来 · 查看原书依据
- 第十二章:数据系统的未来 · 查看原书依据
- 第十二章:数据系统的未来 · 查看原书依据
- 第十二章:数据系统的未来 · 查看原书依据
- 第十二章:数据系统的未来 · 查看原书依据
- 第十二章:数据系统的未来 · 查看原书依据
- 第十二章:数据系统的未来 · 查看原书依据
- 第十二章:数据系统的未来 · 查看原书依据
- 第十二章:数据系统的未来 · 查看原书依据
- 第十二章:数据系统的未来 · 查看原书依据
- 第十二章:数据系统的未来 · 查看原书依据
- 第十二章:数据系统的未来 · 查看原书依据
术语表
术语表给出全书主要术语的简短定义(异步、原子、背压、拜占庭故障、CAP、因果、共识等),并指向正文章节;这些概念已在上述各章卡片中展开。