主题索引
分布式存储与复制
比较 GFS、HDFS、BigTable、MongoDB、RabbitMQ 等系统的租约、写确认、副本同步、选主与脑裂处理。
来源书籍
本书分三篇:第1篇(第1-3章)讲分布式数据库基础理论 (CAP/BASE、2PC/3PC、Paxos/Raft、锁/MVCC/快照隔离/SSI/死锁管理), 第2篇(第4-7章)深入Greenplum自身的架构与源码(总体架构、分布式 事务实现、分布式计算/Motion与Interconnect实现、分布式存储实现), 第3篇(第8-9章)讨论云原生数据库与新技术机遇。第1篇的分布式理论 内容浓度高、可迁移性强;第2篇深度绑定Greenplum/PostgreSQL具体 源码结构、函数名和产品演进路径,稳定性明显偏低;第3篇偏产业 观察与技术展望。综合来看信息浓度高(讲透了分布式一致性和并发 控制的设计动机与工程实现),但整体强绑定Greenplum这一具体产品 及其源码版本,稳定性不如纯理论书籍,定级工程实践。 **类别说明**:本书系统讲解分布式数据库理论与Greenplum(基于 PostgreSQL的MPP架构)的架构源码实现,命中"数据库/存储引擎类" (判定标准:"以讲解数据库/存储系统内部原理为主要目标的书籍")。 **与已完成同类书籍的重叠说明(跨书去重)**:本session已完成 《数据库原理(微课版)》《数据库系统——原理、设计与编程(MOOC版)》 《新型数据库系统:原理、架构与实践》三本数据库类书籍,覆盖了 关系模型、ANSI/SPARC三级模式、CAP/BASE基础定义、NoSQL各分类 模型、存算分离、AI4DB等核心内容。本书前两章(数据库发展史、 云原生数据库特点)与《新型数据库系统》第1、8章高度重叠,按跨书 去重处理。本书真正独有的价值在于:第2-3章对分布式一致性协议 (2PC/3PC/Paxos/Raft)和并发控制机制(锁/MVCC/快照隔离/SSI/ 死锁)的系统性理论展开(前几本书均未深入到协议层面),以及 第4-7章对Greenplum这一真实MPP分布式数据库产品的架构与源码级 分析(分布式事务/Motion网络层/分布式存储实现),这是本书独有、 此前所有已完成书籍都未触及的角度,是阶段三处理的重点。
7/7
Skill 版本:v7
类别:数据库/存储引擎类
四象限结论:工程实践(高信息浓度 + 较低稳定性)
理由:本书分三篇:第1篇(第1-3章)讲分布式数据库基础理论 (CAP/BASE、2PC/3PC、Paxos/Raft、锁/MVCC/快照隔离/SSI/死锁管理), 第2篇(第4-7章)深入Greenplum自身的架构与源码(总体架构、分布式 事务实现、分布式计算/Motion与Interconnect实现、分布式存储实现), 第3篇(第8-9章)讨论云原生数据库与新技术机遇。第1篇的分布式理论 内容浓度高、可迁移性强;第2篇深度绑定Greenplum/PostgreSQL具体 源码结构、函数名和产品演进路径,稳定性明显偏低;第3篇偏产业 观察与技术展望。综合来看信息浓度高(讲透了分布式一致性和并发 控制的设计动机与工程实现),但整体强绑定Greenplum这一具体产品 及其源码版本,稳定性不如纯理论书籍,定级工程实践。
类别说明:本书系统讲解分布式数据库理论与Greenplum(基于 PostgreSQL的MPP架构)的架构源码实现,命中”数据库/存储引擎类” (判定标准:”以讲解数据库/存储系统内部原理为主要目标的书籍”)。
与已完成同类书籍的重叠说明(跨书去重):本session已完成 《数据库原理(微课版)》《数据库系统——原理、设计与编程(MOOC版)》 《新型数据库系统:原理、架构与实践》三本数据库类书籍,覆盖了 关系模型、ANSI/SPARC三级模式、CAP/BASE基础定义、NoSQL各分类 模型、存算分离、AI4DB等核心内容。本书前两章(数据库发展史、 云原生数据库特点)与《新型数据库系统》第1、8章高度重叠,按跨书 去重处理。本书真正独有的价值在于:第2-3章对分布式一致性协议 (2PC/3PC/Paxos/Raft)和并发控制机制(锁/MVCC/快照隔离/SSI/ 死锁)的系统性理论展开(前几本书均未深入到协议层面),以及 第4-7章对Greenplum这一真实MPP分布式数据库产品的架构与源码级 分析(分布式事务/Motion网络层/分布式存储实现),这是本书独有、 此前所有已完成书籍都未触及的角度,是阶段三处理的重点。
版权信息、内容提要、推荐语、前言、资源与支持不纳入正文进度。 正文9章按目录结构预判精读/略读,实际取舍在阶段三逐章处理时按 信息浓度和概念强制生卡规则动态调整。
| 章节号 | 章节标题 | 精读/略读 | 状态 | 卡片数 |
|---|---|---|---|---|
| 01 | 云计算时代的数据库 | 精读:数据库发展史、MPP策略简述、云原生数据库四大特点(性能高/可靠性高/资源弹性/学习成本低)与已完成《新型数据库系统》第1/8章高度重叠,按跨书去重处理,无独有角度不生卡 | done | 0 |
| 02 | 分布式数据库基础理论和架构 | 精读:3PC对2PC协调者单点故障的改进及其局限、”全体一致vs多数派”两种一致性协议路线的本质差异是本书独有角度;CAP/BASE基础定义、OLTP/OLAP/HTAP分类与已完成书籍重叠不重复生卡 | done | 2 |
| 03 | 并发控制 | 精读:并发控制两维分类框架、快照隔离能防三类冲突但防不了写偏序、SSI谓词锁与索引扫描误报、B*树高键与右兄弟指针的双重动机、Greenplum全局死锁检测GDD算法是本书独有的深度内容,源码级细节浓度极高 | done | 5 |
| 04 | Greenplum总体架构 | 精读:Interconnect弃TCP选UDP的端口数量化论证、非分布键关联的重分布+本地join+gather汇总流程是本书独有角度;PostgreSQL通信协议消息格式细节、Interconnect源码级函数调用链按浓度过滤(工程实现细节,非”为什么”层面) | done | 2 |
| 05 | 分布式事务的实现 | 精读:不可重复读/幻读的锁粒度区别、steal-no-force策略与undo/redo日志的对应关系、PostgreSQL用MVCC避免undo log的根本原因、协调者崩溃恢复靠日志+反查参与者重建状态是本书独有角度;PostgreSQL状态机与情景1/2的详细函数调用链源码走查按浓度过滤(工程实现细节) | done | 4 |
| 06 | 分布式计算的实现 | 精读:分布式快照靠QD统一生成而非各实例各自判断可见性、有分布键的表能在计划阶段直接定向插入省去运行时重分布、RBO与CBO优化器的决策依据区别(类别清单核对时补充生成)是本书独有角度;本地共享快照/可见性判断的源码级函数调用链、哈希算法实现细节按浓度过滤(工程实现细节) | done | 3 |
| 07 | 分布式存储的实现 | 精读:跳跃一致性哈希解决集群扩容的重分布代价、复制分布为小表广播完整副本换取聚合本地化是本书独有角度;heap/AO/AOCO表的行列存储选择与已完成书籍重叠不重复生卡;gpfdist协议/Libcurl库函数/Scan算子源码级函数调用链按浓度过滤 | done | 2 |
| 08 | 云原生数据库 | 精读:Greenplum三次上云受挫的共同根因(Interconnect按局域网参数调校)、Hawq与Greenplum是CAP理论的具体产品级权衡是本书独有角度;Greenplum/Pivotal/VMware公司沿革史按浓度过滤 | done | 2 |
| 09 | 新技术的机遇 | 精读:NVM读写速度特性让缓存管理和WAL都不再是必需品是本书独有角度(有具体机制支撑,非纯展望);Snowflake存算分离架构与已完成书籍重叠、容器技术评述较简短按浓度过滤 | done | 1 |
| 序号 | 实践标题 | 实践方式 | 状态(pending/done) | 关联章节 | 产出 |
|---|---|---|---|---|---|
| 001 | 核对cardbox默认使用的SQLite日志模式对应书中哪种缓存策略 | 实现深读 | done | 05 | 已通过WebSearch核对SQLite官方WAL文档,确认cardbox因未显式配置journal_mode实际运行在steal+undo log(回滚日志)路线下,而非PostgreSQL式no-force+redo log路线 |
| 002 | 核对PostgreSQL官方nbtree源码中高键和右兄弟指针的精确作用 | 实现深读 | done | 03 | 已通过WebSearch核对PostgreSQL官方nbtree README,确认高键+右链接的精确机制是让搜索可在不持读锁的情况下探测并纠正并发分裂,比教材概括更精确 |
| 003 | 评估cardbox当前的事务并发画像是否需要考虑死锁检测 | 决策实践 | done | 03/04 | 已核对cardbox写事务均来自CLI手动触发、Web服务器只读,给出”当前不需要死锁检测机制”的决策依据框架 |
| 维度 | 覆盖状态(已覆盖/补充生成/未覆盖) | 关联卡片标题或未覆盖理由 |
|---|---|---|
| 存储结构与索引原理(B树/LSM树等结构的取舍) | 已覆盖 | [[B*树用高键和右兄弟指针解决恢复原子性与并发热点问题]](ch03-004);LSM树的写/读/空间放大权衡与已完成书籍(新型数据库系统)重叠不重复生卡 |
| 事务与隔离级别 | 已覆盖 | [[不可重复读用行级锁解决幻读用表级锁解决]](ch05-001)、[[快照隔离能防脏读不可重复读幻读但防不了写偏序]](ch03-002)、[[SSI用谓词锁检测读写闭环但索引扫描粒度会导致误报]](ch03-003) |
| 复制与分片策略 | 已覆盖 | [[跳跃一致性哈希让集群扩容不必先改随机分布再改回来]](ch07-001)、[[复制分布为小表广播完整副本换取聚合本地化]](ch07-002)、[[有分布键的表能在计划阶段直接定向插入省去运行时重分布]](ch06-002) |
| 查询优化器原理 | 补充生成 | [[基于规则的优化器不看数据,基于代价的优化器靠统计信息比较方案]](ch06-003,核对清单时发现第6章6.1.1节已有RBO/CBO的实质讲解但此前未生卡,补充生成) |
| 故障恢复机制 | 已覆盖 | [[steal与no-force策略的性能代价用undo与redo日志买单]](ch05-002)、[[协调者崩溃恢复不信共享内存靠日志加反查参与者重建状态]](ch05-004) |
| 并发控制机制 | 已覆盖 | [[并发控制的两维分类乐观程度与版本数]](ch03-001)、[[PostgreSQL用MVCC避免了undo log因为撤销就是让新版本不可见]](ch05-003) |
| 存储与计算的工程权衡(读写放大、压缩策略等) | 已覆盖 | [[Interconnect弃TCP选UDP的量化论证是端口数会指数级耗尽]](ch04-001)、[[Hawq与Greenplum是CAP理论的一次具体产品级权衡]](ch08-002)、[[NVM的读写速度特性让缓存管理和WAL都不再是必需品]](ch09-001) |
| 术语名 | 出现章节 | 一句话语境 |
|---|---|---|
| Orca优化器 | 04 | Greenplum引入的一种查询优化器,用于产生执行计划,仅提及名称未展开具体优化策略 |
| Legacy优化器 | 04 | PostgreSQL原生优化器经Greenplum并行化处理后的版本,提及cdbparallelize函数但未展开算法细节 |
| 标题 | 类型 | 出现章节 | 一句话语境 |
|---|
| 问题标题 | 问题卡 | 解决方案卡(如有) | 出现章节 | 一句话说明 |
|---|
从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。
主题索引
比较 GFS、HDFS、BigTable、MongoDB、RabbitMQ 等系统的租约、写确认、副本同步、选主与脑裂处理。
主题索引
比较分布式共识、领导者选举、副本数量与一致性模型的可靠性取舍。
主题索引
比较容器隔离与镜像理念、Kubernetes 的资源模型与控制器、应用封装方案,以及容器存储的抽象与扩展机制。
主题索引
比较内部与外部一致性、XA/2PC/3PC、CAP 与 BASE,以及可靠事件队列、TCC、SAGA、AT 等柔性事务方案。
主题索引
比较分库分片主键选择、分布式数据库选型与跨库关联查询的解法。
主题索引
比较批处理、流式、交互式查询、图计算、分布式机器学习与增量计算的计算模型与取舍。
主题索引
比较顺序一致性、线性一致性、外部一致性等一致性模型,以及 CAP、弱 CAP、HAT、PACELC 对系统取舍的刻画。
主题索引
系统事务的隔离与锁,以及跨越多个请求的业务事务如何用乐观/悲观离线锁、粗粒度锁和隐含锁保持一致。
主题索引
串联分析型数仓的主题与分层建模、ETL抽取转换、Hive与Sqoop、增量水位及BI消费路径;保留版本与场景限制。
主题索引
比较故障与失效、部分失效、网络与超时的不确定性、时钟漂移与进程暂停,以及系统模型如何界定这些假设。
主题索引
ACID 各自的边界,脏读、不可重复读、幻读与写偏斜分别由什么机制挡住:两阶段锁与意向锁、MVCC 快照与可见性判断、可串行化快照隔离的冲突检测,以及死锁成因、锁粒度与长事务的代价。
主题索引
比较布隆过滤器、跳表、LSM 树、Merkle 树、Cuckoo 哈希等在存储系统中以空间或精度换效率的数据结构。
主题索引
比较查询优化器依赖的等价变换、语义优化条件,以及重复行、NULL 与写法选择对优化空间的影响。
主题索引
比较 Commit Logging、WAL、Shadow Paging 等保证原子性与持久性的日志与恢复机制。
主题索引
预写日志与 redo/undo 的分工,检查点与日志截断,崩溃恢复的重做与回滚阶段,以及不同存储引擎在提交、刷盘与恢复时间上的取舍。
主题索引
互斥锁与读写锁的适用比例、信号量与 CountDownLatch 的语义差别、条件等待为什么必须持锁并循环复查、锁顺序与可重入导致的死锁,以及粗粒度锁换简单性与细粒度锁换并发的代价。
主题索引
数据最终落在介质上:闪存的组织与 FTL、写放大与磨损,以及主机到盘的接口协议与电源状态。
主题索引
面向交互式分析的执行引擎:列存与分区裁剪、查询编译与向量化执行、重分布连接与并行度、MPP 与混合数仓、Presto 式连接器解耦,以及预计算能省下多少。
主题索引
比较锁状态存储、锁膨胀、自旋与排队队列、同步器骨架等锁实现机制及其竞争开销。
主题索引
比较 NAND 闪存介质特性、FTL 映射与垃圾回收、写放大、磨损平衡、掉电恢复,以及 LDPC 等纠错机制对 SSD 性能与寿命的影响。