主题索引
存储模型选型
比较关系型、键值、列式、文档与全文检索等存储模型的特性取舍与适用场景。
来源书籍
4/4
_workflow.md),不补写。_workflow.md。类别:分布式系统类
四象限评级:经典原理(高信息浓度 + 高稳定性)
评级理由:这本书虽然使用 GFS、HDFS、BigTable、MongoDB、RabbitMQ、ZooKeeper、Spanner、CockroachDB 等系统作为案例,但核心并不是产品配置或版本操作,而是围绕分布式系统的一致性机制、故障模型和架构权衡展开。前半部分用具体系统说明租约、复制、写确认、选主、脑裂、读写路径等设计选择如何影响一致性;后半部分转入 Paxos、Raft、Zab、事务隔离级别、顺序一致性、线性一致性、CAP、HAT、PACELC 等稳定理论。即使具体软件版本变化,关于多数派交集、日志复制、MVCC、TrueTime/租约、commit wait、读写一致性差异和可用性权衡的推理仍然可迁移,因此属于高浓度、高稳定性的经典原理型读物。
章节筛选结论:正文 16 章全部精读。全书没有纯命令/API 手册式章节;每章都围绕一致性语义、失败恢复、复制协议或架构取舍展开,符合专业/工作类卡片取材标准。
执行模式:light
建档进度:done
本次实际规则:book-notes v23 / book-workflow v4;历史Skill字段与记录保留。按最新取材规则全文重读并自主完成。
身份映射:启动快照与作者/ISBN确认同书,沿用既有目录、文件名与卡片身份。
整书笔记:_book_note.md(schema 1;SHA-256 962a92e37d15988b58ebc1e08bc8c9d2cb2aac37de6c0a20a8181613665c3710)。
| 章节号 | 章节标题 | 状态(pending/done) | 卡片数 |
|---|---|---|---|
| 00 | 分布式架构的终极奥义 | done | 0 |
| 00 | 前言 | done | 0 |
| 01 | 第1章 分布式系统的核心特性:一致性 | done | 4 |
| 02 | 第2章 Google的文件系统 | done | 6 |
| 03 | 第3章 开源的文件系统HDFS | done | 6 |
| 04 | 第4章 Google的BigTable系统 | done | 6 |
| 05 | 第5章 文档数据库MongoDB | done | 7 |
| 06 | 第6章 消息系统RabbitMQ | done | 6 |
| 07 | 第7章 协调服务ZooKeeper | done | 6 |
| 08 | 第8章 Google的Spanner数据库 | done | 8 |
| 09 | 第9章 分布式数据库CockroachDB | done | 10 |
| 10 | 第10章 共识算法Paxos(含第3部分导读) | done | 13 |
| 11 | 第11章 复制日志算法Raft | done | 6 |
| 12 | 第12章 原子广播算法Zab | done | 12 |
| 13 | 第13章 事务一致性与隔离级别 | done | 17 |
| 14 | 第14章 顺序一致性 | done | 8 |
| 15 | 第15章 线性一致性与强一致性 | done | 10 |
| 16 | 第16章 架构设计中的权衡 | done | 8 |
| spine项 | 类型 | 排除理由 |
|---|---|---|
| 0 / OEBPS/Text/coverpage.xhtml | 阅读宣传页 | 封面/版权/内容提要或纯图片宣传页;无本书独立技术论证,标题身份信息已提取。 |
| 1 / OEBPS/Text/chapter1.xhtml | 作者简介图片页 | 已查看41041_2_1.jpg,仅作者经历与博客介绍,无技术正文。 |
| 2 / OEBPS/Text/copyright.xhtml | 版权信息 | 封面/版权/内容提要或纯图片宣传页;无本书独立技术论证,标题身份信息已提取。 |
| 3 / OEBPS/Text/chapter2.xhtml | 内容简介 | 封面/版权/内容提要或纯图片宣传页;无本书独立技术论证,标题身份信息已提取。 |
| 22 / OEBPS/Text/chapter21.xhtml | 好书分享广告页 | 已查看41041_252_1.jpg,仅六本其他图书封面推荐,无实质讲解。 |
| 23 / OEBPS/Text/chapter22.xhtml | 封底推荐与服务页 | 已查看41041_253_1.jpg,为专家推荐语、读者服务、ISBN定价,不含独立技术论证。 |
| 术语名 | 出现章节 | 一句话语境 |
|---|---|---|
| Docker | 01 | 作为数据中间件、数据库或应用层扩展技术列举,不展开产品实现。 |
| Redis | 01 | 作为数据中间件、数据库或应用层扩展技术列举,不展开产品实现。 |
| POSIX | 02 | 说明GFS未完全实现该文件接口标准,未展开标准条款。 |
| MMapV1 | 05 | 作为journal实现各异的存储引擎举例,保留原书拼写,不展开其机制。 |
| WireTiger | 05 | 作为journal实现各异的存储引擎举例,保留原书拼写,不展开其机制。 |
| Spanner | 09 | CockroachDB设计来源,具体机制以本章独立讲解为准。 |
| PostgreSQL | 09 | SQL接口兼容背景,未讲解PostgreSQL本身。 |
| Byzantine Generals Problem | 10 | Paxos历史背景提及,未展开拜占庭容错机制。 |
| 标题 | 类型(书/论文/框架/源码项目) | 出现章节 | 一句话语境 |
|---|---|---|---|
| How to make a multiprocessor computer that correctly executes multiprocess programs | 论文 | 14 | 顺序一致性正式定义来源 |
| Time, Clocks, and the Ordering of Events in a Distributed System | 论文 | 14 | 偏序关系背景 |
| Distributed Systems: Principles and Paradigms | 书 | 14 | 把处理器术语改为分布式进程的定义 |
| Distributed systems for fun and profit | 书 | 14 | 顺序一致性的通俗描述 |
| A Critique of ANSI SQL Isolation Levels | 论文 | 13 | SI与传统异常分类的定义来源 |
| Serializable Snapshot Isolation in PostgreSQL | 论文 | 13 | SSI实现来源 |
| Linearizability: A Correctness Condition for Concurrent Objects | 论文 | 15 | 调用/返回历史的正式模型 |
| The Art of Multiprocessor Programming | 书 | 15 | 线性一致性定义延伸阅读 |
| ZooKeeper: Wait-free Coordination for Internet-scale systems | 论文 | 15 | 线性写与FIFO客户端顺序 |
| Modular Composition of Coordination Services | 论文 | 15 | 协调服务语义描述 |
| CAP twelve years later: How the rules have changed | 论文 | 16 | CAP历史与解释 |
| Harvest, Yield and Scalable Tolerant Systems | 论文 | 16 | CAP原则背景 |
| Towards Robust Distributed Systems | 论文 | 16 | CAP传播的演讲 |
| Brewer’s conjecture and the feasibility of consistent, available, partition-tolerant web services | 论文 | 16 | CAP正式证明 |
| HAT, not CAP: Towards Highly Available Transactions | 论文 | 16 | 事务与可用性约束 |
| Highly Available Transactions: Virtues and Limitations | 论文 | 16 | HAT理论扩展 |
| Consistency Tradeoffs in Modern Distributed Database System Design: CAP is Only Part of the Story | 论文 | 16 | PACELC来源 |
| Ghemawat S, Gobioff H, Leung S T. The Google File System. ACM SIGOPS Operating Systems Review, 2003. | 原书参考文献 | 02 | 本章参考列表,正文取材已在本章卡片及正文登记,未把引用列表当作已阅读全文。 |
| Marshall, Kirk, McKusick, et al. GFS: Evolution on Fast-forward. Communications of the ACM, 2009. | 原书参考文献 | 02 | 本章参考列表,正文取材已在本章卡片及正文登记,未把引用列表当作已阅读全文。 |
| HDFS Architecture. http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html. | 原书参考文献 | 03 | 本章参考列表,正文取材已在本章卡片及正文登记,未把引用列表当作已阅读全文。 |
| Append/Hflush/Read Design. https://issues.apache.org/jira/secure/attachment/12445209/append Design3.pdf. | 原书参考文献 | 03 | 本章参考列表,正文取材已在本章卡片及正文登记,未把引用列表当作已阅读全文。 |
| Chang F, Dean J. Bigtable: A Distribute Storage System for Structured Data. ACM Transactions on Computer Systems, 2006. | 原书参考文献 | 04 | 本章参考列表,正文取材已在本章卡片及正文登记,未把引用列表当作已阅读全文。 |
| Hunt p, Konar M, Junqueira FP, et al. ZooKeeper: Wait-free coordination for Internet-scale systems. USENIXATC’ 10: Proceedings of the 2010 USENIX conference on USENIX annual technical conference, 2010. | 原书参考文献 | 07 | 本章参考列表,正文取材已在本章卡片及正文登记,未把引用列表当作已阅读全文。 |
| Corbett JC, Dean J, Epstein M, et al. Spanner: Google’s Globally-Distributed Database. Operating Systems Design and Implementation, 2012. | 原书参考文献 | 08 | 本章参考列表,正文取材已在本章卡片及正文登记,未把引用列表当作已阅读全文。 |
| Peng D, Dabek F, Inc G. Large-scale Incremental Processing Using Distributed Transactions and Notifications. OSDI’10: Proceedings of the 9th USENIX conference on Operating systems design and implementation, 2010. | 原书参考文献 | 08 | 本章参考列表,正文取材已在本章卡片及正文登记,未把引用列表当作已阅读全文。 |
| Gómez D, Flavio F, Benjamin J, et al. Lock-free Transactional Support for Distributed Data Stores. IEEE 30th International Conference on Data Engineering, 2014. | 原书参考文献 | 08 | 本章参考列表,正文取材已在本章卡片及正文登记,未把引用列表当作已阅读全文。 |
| Liskov B. Practical uses of synchronized clocks in distributed systems[J]. Distributed Computing, PODC’ 91: Proceedings of the tenth annual ACM symposium on Principles of distributed computing, 1991. | 原书参考文献 | 08 | 本章参考列表,正文取材已在本章卡片及正文登记,未把引用列表当作已阅读全文。 |
| Brewer E. Spanner, TrueTime and the CAP Theorem. http://storage.googleapis.com/pub-tools-public-publication-data/pdf/45855.pdf, 2017. | 原书参考文献 | 08 | 本章参考列表,正文取材已在本章卡片及正文登记,未把引用列表当作已阅读全文。 |
| Concurrency Control and Recovery in Database Systems | book | 09 | 本章引用,登记参考文献;不以外部引用替代已读原书证据。 |
| Serializable, Lockless, Distributed: Isolation in CockroachDB | article | 09 | 本章引用,登记参考文献;不以外部引用替代已读原书证据。 |
| The Part-Time Parliament | paper | 10 | 本章引用,登记参考文献;不以外部引用替代已读原书证据。 |
| Paxos Made Simple | paper | 10 | 本章引用,登记参考文献;不以外部引用替代已读原书证据。 |
| How to Build a Highly Available System Using Consensus | paper | 10 | 本章引用,登记参考文献;不以外部引用替代已读原书证据。 |
| Revisiting the PAXOS algorithm | paper | 10 | 本章引用,登记参考文献;不以外部引用替代已读原书证据。 |
| In Search of an Understandable Consensus Algorithm (Extended Version) | paper | 11 | 本章引用,登记参考文献;不以外部引用替代已读原书证据。 |
| Zab: High-performance broadcast for primary-backup systems | paper | 12 | 本章引用,登记参考文献;不以外部引用替代已读原书证据。 |
| Zookeeper atomic broadcast: Theory and practice | paper | 12 | 本章引用,登记参考文献;不以外部引用替代已读原书证据。 |
| 问题标题 | 问题卡 | 解决方案卡(如有) | 出现章节 | 一句话说明 |
|---|---|---|---|---|
| 脏读让回滚值污染扣款 | 脏读让回滚值污染扣款 | 隔离方案 | 13 | 并发脏读让回滚值污染扣款,按原书示例拆分问题与隔离方案。 |
| 重复读变化导致优惠漏发 | 重复读变化导致优惠漏发 | 隔离方案 | 13 | 并发重复读变化导致优惠漏发,按原书示例拆分问题与隔离方案。 |
| 幻读造成订单报表不齐 | 幻读造成订单报表不齐 | 隔离方案 | 13 | 并发幻读造成订单报表不齐,按原书示例拆分问题与隔离方案。 |
| 写偏斜让合计余额为负 | 写偏斜让合计余额为负 | 隔离方案 | 13 | 并发写偏斜让合计余额为负,按原书示例拆分问题与隔离方案。 |
| 序号 | 实践标题 | 实践方式 | 状态(pending/done) | 关联章节 | 产出 |
|---|---|---|---|---|---|
| 001 | Zab纪元与恢复实现深读 | 实现深读 | done | 12 | ideas/idea-001-在ZooKeeper源码定位epoch与zxid.md;ideas/materials/zab-3.9.6-first-pass.md |
| 002 | MongoDB确认语义证据核验 | 证据验证 | done | 05 | ideas/idea-002-用Jepsen报告检验MongoDB确认语义.md;ideas/materials/mongodb-4.2.6-report-first-pass.md |
| 003 | SI与SSI语义证据核验 | 证据验证 | done | 13 | ideas/idea-003-在PostgreSQL复现写偏斜与SSI.md;ideas/materials/postgresql-isolation-first-pass.md |
实践候选筛选:done
保留3个既有实践身份,补固定版本、首轮材料与边界;SSI先用官方证据纠正模型,再决定是否实验。未新增etcd/Raft重复深读,也不复现需要专用时钟条件的Spanner完整环境。
仅交付计划与首轮材料,未执行代码、测试、数据库交错或部署。
| 维度 | 覆盖状态 | 关联卡片标题或未覆盖理由 |
|---|---|---|
| 一致性模型(强一致性/最终一致性/因果一致性) | 已覆盖 | 顺序一致性看结果、线性一致性加实时、强一致常指线性、CAP不是三选二等第14-16章卡片;本书未使用”因果一致性”这一术语,但顺序/线性一致性谱系已充分展开。 |
| 共识算法(Paxos/Raft等) | 已覆盖 | 共识只选一个值、多数派交集保安全、Raft围绕日志复制、Zab先恢复再广播等第10-12章全部卡片。 |
| 容错假设(故障模型:崩溃/拜占庭) | 部分覆盖 | 崩溃故障模型已充分覆盖(任期隔离旧领导、Zab先恢复再广播等贯穿leader宕机/网络分区恢复);全书未讨论拜占庭容错,本书讨论范围明确限定于崩溃故障模型,不属于遗漏,记未覆盖不补造。 |
| 时钟与顺序问题(物理时钟/逻辑时钟/向量时钟) | 部分覆盖 | 物理时钟已覆盖(外部一致性靠时间边界、CommitWait消化误差:TrueTime);逻辑时钟意义上的编号机制已覆盖(Zxid绑定纪元和顺序:epoch+counter,时间戳排序避环:CockroachDB时间戳排序);本书未提及”向量时钟”(vector clock)这一具体机制,记未覆盖,不补造。 |
| 分区处理策略(CAP权衡) | 已覆盖 | CAP不是三选二、CAP可用性很特殊、弱CAP更贴近现实、HAT扩大了限制、PACELC补上平时成本,以及宕机和运维取舍不同(RabbitMQ脑裂)、多数写交叉多数选(MongoDB脑裂)等案例章卡片。 |
| 复制与数据分布(分片/复制,一致性哈希等) | 部分覆盖 | 分片与复制已充分覆盖(宽表本质是有序KV:BigTable tablet切分,元数据进KeySpace:CockroachDB range/meta1/meta2);本书未提及”一致性哈希”这一具体分片算法,记未覆盖,不补造。 |
| 幂等与重试设计 | 已覆盖 | 记录追加避边界(GFS at-least-once)、Intent轻量化提交(CockroachDB幂等清理)、编号承诺挡旧提议(Paxos重复消息安全)等。 |
核对结论:7项中5项已覆盖,2项部分覆盖(各自有一个具体子机制——拜占庭容错、向量时钟、一致性哈希——本书明确未涉及,均已如实标注未覆盖,未补造内容)。
本书以一致性为主线串起分布式存储、消息、协调服务、NewSQL 与共识算法,新建 2 个主题(一致性模型与 CAP 权衡、分布式存储与复制),共识、事务与隔离、分片等并入已有主题。
| 卡片标题 | 结论 | 主题文件或原因 |
|---|---|---|
| 拆分放大一致性 | 已创建 | notes/_topics/consistency-models.md |
| 一致性是核心特性 | 已创建 | notes/_topics/consistency-models.md |
| 数据层最难分布式 | 已创建 | notes/_topics/consistency-models.md |
| 租约确定写序 | 已创建 | notes/_topics/distributed-storage-replication.md |
| 记录追加避边界 | 已创建 | notes/_topics/distributed-storage-replication.md |
| 松弛一致性契约 | 已创建 | notes/_topics/distributed-storage-replication.md |
| 应用补偿存储语义 | 已创建 | notes/_topics/distributed-storage-replication.md |
| 单写者换强语义 | 已创建 | notes/_topics/distributed-storage-replication.md |
| Pipeline不是共识 | 已创建 | notes/_topics/distributed-storage-replication.md |
| 恢复要有代戳 | 已创建 | notes/_topics/distributed-storage-replication.md |
| 宽表本质是有序KV | 已创建 | notes/_topics/distributed-storage-replication.md |
| 元数据也用自身存 | 已创建 | notes/_topics/distributed-storage-replication.md |
| 日志先于内存表 | 已创建 | notes/_topics/distributed-storage-replication.md |
| 确认不是持久化 | 已创建 | notes/_topics/distributed-storage-replication.md |
| 多数写交叉多数选 | 已创建 | notes/_topics/distributed-storage-replication.md |
| 任期修复旧主幻觉 | 已创建 | notes/_topics/distributed-storage-replication.md |
| 多数读避免脏读 | 已创建 | notes/_topics/distributed-storage-replication.md |
| 线性读要验证主权 | 已创建 | notes/_topics/consistency-models.md |
| 镜像同步拖慢队列 | 已创建 | notes/_topics/distributed-storage-replication.md |
| 新镜像自然追齐 | 已创建 | notes/_topics/distributed-storage-replication.md |
| 宕机和运维取舍不同 | 已创建 | notes/_topics/distributed-storage-replication.md |
| 确认覆盖两端 | 已创建 | notes/_topics/distributed-storage-replication.md |
| 协调依赖顺序视图 | 已创建 | notes/_topics/consistency-models.md |
| 请求先转事务 | 已复用 | notes/_topics/distributed-consensus.md |
| 写后等待本地投递 | 已创建 | notes/_topics/consistency-models.md |
| Sync补强读新鲜度 | 已创建 | notes/_topics/consistency-models.md |
| 外部一致性靠时间边界 | 已创建 | notes/_topics/consistency-models.md |
| CommitWait消化误差 | 已创建 | notes/_topics/consistency-models.md |
| Paxos加固两阶段提交 | 已复用 | notes/_topics/distributed-transactions.md |
| 只读性能来自MVCC | 已复用 | notes/_topics/transactions-offline-concurrency.md |
| 租约降低强读成本 | 已创建 | notes/_topics/consistency-models.md |
| 元数据进KeySpace | 已复用 | notes/_topics/distributed-data-sharding.md |
| 租约读守住单Key线性 | 已创建 | notes/_topics/consistency-models.md |
| Intent轻量化提交 | 已复用 | notes/_topics/distributed-transactions.md |
| 时间戳排序避环 | 已复用 | notes/_topics/distributed-transactions.md |
| 近未来读要回滚 | 已创建 | notes/_topics/consistency-models.md |
| 共识只选一个值 | 已复用 | notes/_topics/distributed-consensus.md |
| 多数派交集保安全 | 已复用 | notes/_topics/distributed-consensus.md |
| 编号承诺挡旧提议 | 已复用 | notes/_topics/distributed-consensus.md |
| MultiPaxos复用准备 | 已复用 | notes/_topics/distributed-consensus.md |
| 空洞阻塞状态机 | 已复用 | notes/_topics/distributed-consensus.md |
| Raft围绕日志复制 | 已复用 | notes/_topics/distributed-consensus.md |
| 任期隔离旧领导 | 已复用 | notes/_topics/distributed-consensus.md |
| 随机回退破选举平局 | 已复用 | notes/_topics/distributed-consensus.md |
| 一致性检查修日志 | 已复用 | notes/_topics/distributed-consensus.md |
| Zab先恢复再广播 | 已复用 | notes/_topics/distributed-consensus.md |
| Zxid绑定纪元和顺序 | 已复用 | notes/_topics/distributed-consensus.md |
| 原子广播要保两件事 | 已复用 | notes/_topics/distributed-consensus.md |
| 实现偏离会出错 | 已复用 | notes/_topics/distributed-consensus.md |
| 增量同步保现实可用 | 已复用 | notes/_topics/distributed-consensus.md |
| 隔离级别定义异常 | 已复用 | notes/_topics/transactions-offline-concurrency.md |
| 异常会破坏约束 | 已复用 | notes/_topics/transactions-offline-concurrency.md |
| 锁维度决定隔离 | 已复用 | notes/_topics/transactions-offline-concurrency.md |
| SI仍会写偏斜 | 已复用 | notes/_topics/transactions-offline-concurrency.md |
| 顺序一致性看结果 | 已创建 | notes/_topics/consistency-models.md |
| 全局视角必须一致 | 已创建 | notes/_topics/consistency-models.md |
| 顺序一致性很严苛 | 已创建 | notes/_topics/consistency-models.md |
| 并发正确性条件 | 已创建 | notes/_topics/consistency-models.md |
| 原子性是表现约束 | 已创建 | notes/_topics/consistency-models.md |
| 线性一致性加实时 | 已创建 | notes/_topics/consistency-models.md |
| 强一致常指线性 | 已创建 | notes/_topics/consistency-models.md |
| ZooKeeper写强读弱 | 已创建 | notes/_topics/consistency-models.md |
| 顺序一致足够协调 | 已创建 | notes/_topics/consistency-models.md |
| 共识不等于整体一致 | 已创建 | notes/_topics/consistency-models.md、notes/_topics/distributed-consensus.md |
| CAP不是三选二 | 已创建 | notes/_topics/consistency-models.md |
| CAP可用性很特殊 | 已创建 | notes/_topics/consistency-models.md |
| 弱CAP更贴近现实 | 已创建 | notes/_topics/consistency-models.md |
| HAT扩大了限制 | 已创建 | notes/_topics/consistency-models.md |
| PACELC补上平时成本 | 已创建 | notes/_topics/consistency-models.md |
轻量模式已完成全文阅读、来源与缓存匹配、整书讲解、覆盖取舍及实践首轮材料;未执行笔记复核、独立审查及审查结果优化。历史审查和类别表仅作记录,不替代本轮规则。
从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。
主题索引
比较关系型、键值、列式、文档与全文检索等存储模型的特性取舍与适用场景。
主题索引
比较 GFS、HDFS、BigTable、MongoDB、RabbitMQ 等系统的租约、写确认、副本同步、选主与脑裂处理。
主题索引
比较主备、主从、集群、分区与异地多活等高可用架构的适用范围、数据同步与代价。
主题索引
比较分布式共识、领导者选举、副本数量与一致性模型的可靠性取舍。
主题索引
比较内部与外部一致性、XA/2PC/3PC、CAP 与 BASE,以及可靠事件队列、TCC、SAGA、AT 等柔性事务方案。
主题索引
比较分库分片主键选择、分布式数据库选型与跨库关联查询的解法。
主题索引
比较顺序一致性、线性一致性、外部一致性等一致性模型,以及 CAP、弱 CAP、HAT、PACELC 对系统取舍的刻画。
主题索引
跨进程互斥的分布式锁实现与取舍,以及全局唯一 ID 的生成方案和分布式计数。
主题索引
ACID 各自的边界,脏读、不可重复读、幻读与写偏斜分别由什么机制挡住:两阶段锁与意向锁、MVCC 快照与可见性判断、可串行化快照隔离的冲突检测,以及死锁成因、锁粒度与长事务的代价。
主题索引
比较布隆过滤器、跳表、LSM 树、Merkle 树、Cuckoo 哈希等在存储系统中以空间或精度换效率的数据结构。
主题索引
预写日志与 redo/undo 的分工,检查点与日志截断,崩溃恢复的重做与回滚阶段,以及不同存储引擎在提交、刷盘与恢复时间上的取舍。
主题索引
业务事务比系统事务长得多,中间隔着用户思考时间:乐观离线锁与悲观离线锁怎么选、粗粒度锁与隐含锁的代价、版本号与条件更新怎样防止覆盖、预留与冻结怎样替代事后校验,以及离线并发为什么能免则免。