来源书籍

深入浅出Greenplum分布式数据库原理、架构和代码分析 (王凤刚)

Skill 版本:v7 数据库/存储引擎类 工程实践(高信息浓度 + 较低稳定性) 57 张卡片

本书分三篇:第1篇(第1-3章)讲分布式数据库基础理论 (CAP/BASE、2PC/3PC、Paxos/Raft、锁/MVCC/快照隔离/SSI/死锁管理), 第2篇(第4-7章)深入Greenplum自身的架构与源码(总体架构、分布式 事务实现、分布式计算/Motion与Interconnect实现、分布式存储实现), 第3篇(第8-9章)讨论云原生数据库与新技术机遇。第1篇的分布式理论 内容浓度高、可迁移性强;第2篇深度绑定Greenplum/PostgreSQL具体 源码结构、函数名和产品演进路径,稳定性明显偏低;第3篇偏产业 观察与技术展望。综合来看信息浓度高(讲透了分布式一致性和并发 控制的设计动机与工程实现),但整体强绑定Greenplum这一具体产品 及其源码版本,稳定性不如纯理论书籍,定级工程实践。 **类别说明**:本书系统讲解分布式数据库理论与Greenplum(基于 PostgreSQL的MPP架构)的架构源码实现,命中"数据库/存储引擎类" (判定标准:"以讲解数据库/存储系统内部原理为主要目标的书籍")。 **与已完成同类书籍的重叠说明(跨书去重)**:本session已完成 《数据库原理(微课版)》《数据库系统——原理、设计与编程(MOOC版)》 《新型数据库系统:原理、架构与实践》三本数据库类书籍,覆盖了 关系模型、ANSI/SPARC三级模式、CAP/BASE基础定义、NoSQL各分类 模型、存算分离、AI4DB等核心内容。本书前两章(数据库发展史、 云原生数据库特点)与《新型数据库系统》第1、8章高度重叠,按跨书 去重处理。本书真正独有的价值在于:第2-3章对分布式一致性协议 (2PC/3PC/Paxos/Raft)和并发控制机制(锁/MVCC/快照隔离/SSI/ 死锁)的系统性理论展开(前几本书均未深入到协议层面),以及 第4-7章对Greenplum这一真实MPP分布式数据库产品的架构与源码级 分析(分布式事务/Motion网络层/分布式存储实现),这是本书独有、 此前所有已完成书籍都未触及的角度,是阶段三处理的重点。

尚未生成整书笔记。

类别清单覆盖

7/7

已覆盖 6 补充生成 1 未覆盖 0

章节与卡片

02 分布式数据库基础理论和架构

1 张卡片
  1. CAP的取舍边界 理解等级:未标注 普通读书笔记卡

02

1 张卡片
  1. 3PC用超时机制解决2PC协调者单点故障,但解决不了网络分区 理解等级:未标注 普通读书笔记卡

02 分布式数据库基础理论和架构

1 张卡片
  1. BASE的补偿思路 理解等级:未标注 普通读书笔记卡

02

1 张卡片
  1. "全体一致"与"多数派":两种一致性协议路线的根本分野 理解等级:未标注 普通读书笔记卡

02 分布式数据库基础理论和架构

3 张卡片
  1. 2PC的阻塞代价 理解等级:未标注 普通读书笔记卡
  2. 多数派共识 理解等级:未标注 普通读书笔记卡
  3. MPP拆分查询 理解等级:未标注 普通读书笔记卡

03 并发控制

1 张卡片
  1. 并发控制坐标 理解等级:未标注 普通读书笔记卡

03

1 张卡片
  1. 并发控制的两维分类:乐观程度×版本数 理解等级:未标注 结构图卡

03 并发控制

1 张卡片
  1. MVCC降低锁竞争 理解等级:未标注 普通读书笔记卡

03

1 张卡片
  1. 快照隔离能防脏读/不可重复读/幻读,但防不了写偏序 理解等级:未标注 普通读书笔记卡

03 并发控制

1 张卡片
  1. 隔离级别是折中 理解等级:未标注 普通读书笔记卡

03

1 张卡片
  1. SSI用谓词锁检测读写闭环,但索引扫描的锁粒度会导致误报 理解等级:未标注 普通读书笔记卡

03 并发控制

1 张卡片
  1. SSI用图找冲突 理解等级:未标注 普通读书笔记卡

03

1 张卡片
  1. B*树用高键和右兄弟指针,解决恢复原子性与并发热点问题 理解等级:未标注 普通读书笔记卡

03 并发控制

1 张卡片
  1. 死锁等待图 理解等级:未标注 普通读书笔记卡

03

1 张卡片
  1. Greenplum的全局死锁检测:把本地等待图汇总成全局图 理解等级:未标注 结构图卡

03 并发控制

1 张卡片
  1. 树索引并发 理解等级:未标注 普通读书笔记卡

04 Greenplum总体架构

1 张卡片
  1. QD与QE分工 理解等级:未标注 普通读书笔记卡

04

1 张卡片
  1. Interconnect弃TCP选UDP:端口数会随并发规模指数级耗尽 理解等级:未标注 普通读书笔记卡

04 Greenplum总体架构

1 张卡片
  1. Motion是边界 理解等级:未标注 普通读书笔记卡

04

1 张卡片
  1. 非分布键关联:先重分布数据,再本地join,再汇总 理解等级:未标注 结构图卡

04 Greenplum总体架构

3 张卡片
  1. UDPIFC省连接 理解等级:未标注 普通读书笔记卡
  2. Gang承载Slice 理解等级:未标注 普通读书笔记卡
  3. FTS维护拓扑 理解等级:未标注 普通读书笔记卡

05 分布式事务的实现

1 张卡片
  1. 事务实现差异 理解等级:未标注 普通读书笔记卡

05

1 张卡片
  1. 不可重复读用行级锁解决,幻读用表级锁解决 理解等级:未标注 普通读书笔记卡

05 分布式事务的实现

1 张卡片
  1. WAL支撑偷页 理解等级:未标注 普通读书笔记卡

05

1 张卡片
  1. steal与no-force策略的性能代价,用undo/redo日志买单 理解等级:未标注 结构图卡

05 分布式事务的实现

1 张卡片
  1. 状态机护栏 理解等级:未标注 普通读书笔记卡

05

1 张卡片
  1. PostgreSQL用MVCC避免了undo log:撤销就是让新版本不可见 理解等级:未标注 普通读书笔记卡

05 分布式事务的实现

1 张卡片
  1. 2PC落盘点 理解等级:未标注 普通读书笔记卡

05

1 张卡片
  1. 协调者崩溃恢复:不信共享内存,靠"日志+反查参与者"重建状态 理解等级:未标注 普通读书笔记卡

05 分布式事务的实现

1 张卡片
  1. 容错先定位 理解等级:未标注 普通读书笔记卡

06 分布式计算的实现

1 张卡片
  1. 统计驱动优化 理解等级:未标注 普通读书笔记卡

06

1 张卡片
  1. 分布式快照靠QD统一生成,而非各实例各自判断可见性 理解等级:未标注 普通读书笔记卡

06 分布式计算的实现

1 张卡片
  1. 执行器递归拉取 理解等级:未标注 普通读书笔记卡

06

1 张卡片
  1. 有分布键的表能在计划阶段直接定向插入,省去运行时重分布 理解等级:未标注 普通读书笔记卡

06 分布式计算的实现

1 张卡片
  1. Motion三种流向 理解等级:未标注 普通读书笔记卡

06

1 张卡片
  1. 基于规则的优化器不看数据,基于代价的优化器靠统计信息比较方案 理解等级:未标注 普通读书笔记卡

06 分布式计算的实现

3 张卡片
  1. 本地共享快照 理解等级:未标注 普通读书笔记卡
  2. 分布式快照 理解等级:未标注 普通读书笔记卡
  3. 哈希重分布 理解等级:未标注 普通读书笔记卡

07 分布式存储的实现

1 张卡片
  1. 分布键决定代价 理解等级:未标注 普通读书笔记卡

07

1 张卡片
  1. 跳跃一致性哈希:让集群扩容不必先改随机分布再改回来 理解等级:未标注 普通读书笔记卡

07 分布式存储的实现

1 张卡片
  1. 随机分布扩容 理解等级:未标注 普通读书笔记卡

07

1 张卡片
  1. 复制分布:为小表广播完整副本,换取聚合本地化 理解等级:未标注 普通读书笔记卡

07 分布式存储的实现

4 张卡片
  1. 复制分布换网络 理解等级:未标注 普通读书笔记卡
  2. WAL式高可用 理解等级:未标注 普通读书笔记卡
  3. AO表面向分析 理解等级:未标注 普通读书笔记卡
  4. gpfdist并行加载 理解等级:未标注 普通读书笔记卡

08

2 张卡片
  1. Greenplum上云屡屡受挫的根因:Interconnect按局域网参数调校 理解等级:未标注 普通读书笔记卡
  2. Hawq与Greenplum:CAP理论的一次具体产品级权衡 理解等级:未标注 普通读书笔记卡

09 新技术的机遇

1 张卡片
  1. NVM改写缓冲层 理解等级:未标注 普通读书笔记卡

09

1 张卡片
  1. NVM的读写速度特性,让缓存管理和WAL都不再是必需品 理解等级:未标注 普通读书笔记卡

09 新技术的机遇

2 张卡片
  1. 存算分离要缓存 理解等级:未标注 普通读书笔记卡
  2. 容器难管数据库 理解等级:未标注 普通读书笔记卡

全书概览

深入浅出Greenplum分布式数据库:原理、架构和代码分析 (王凤刚)

Skill 版本:v7

类别:数据库/存储引擎类

四象限结论:工程实践(高信息浓度 + 较低稳定性)

理由:本书分三篇:第1篇(第1-3章)讲分布式数据库基础理论 (CAP/BASE、2PC/3PC、Paxos/Raft、锁/MVCC/快照隔离/SSI/死锁管理), 第2篇(第4-7章)深入Greenplum自身的架构与源码(总体架构、分布式 事务实现、分布式计算/Motion与Interconnect实现、分布式存储实现), 第3篇(第8-9章)讨论云原生数据库与新技术机遇。第1篇的分布式理论 内容浓度高、可迁移性强;第2篇深度绑定Greenplum/PostgreSQL具体 源码结构、函数名和产品演进路径,稳定性明显偏低;第3篇偏产业 观察与技术展望。综合来看信息浓度高(讲透了分布式一致性和并发 控制的设计动机与工程实现),但整体强绑定Greenplum这一具体产品 及其源码版本,稳定性不如纯理论书籍,定级工程实践。

类别说明:本书系统讲解分布式数据库理论与Greenplum(基于 PostgreSQL的MPP架构)的架构源码实现,命中”数据库/存储引擎类” (判定标准:”以讲解数据库/存储系统内部原理为主要目标的书籍”)。

与已完成同类书籍的重叠说明(跨书去重):本session已完成 《数据库原理(微课版)》《数据库系统——原理、设计与编程(MOOC版)》 《新型数据库系统:原理、架构与实践》三本数据库类书籍,覆盖了 关系模型、ANSI/SPARC三级模式、CAP/BASE基础定义、NoSQL各分类 模型、存算分离、AI4DB等核心内容。本书前两章(数据库发展史、 云原生数据库特点)与《新型数据库系统》第1、8章高度重叠,按跨书 去重处理。本书真正独有的价值在于:第2-3章对分布式一致性协议 (2PC/3PC/Paxos/Raft)和并发控制机制(锁/MVCC/快照隔离/SSI/ 死锁)的系统性理论展开(前几本书均未深入到协议层面),以及 第4-7章对Greenplum这一真实MPP分布式数据库产品的架构与源码级 分析(分布式事务/Motion网络层/分布式存储实现),这是本书独有、 此前所有已完成书籍都未触及的角度,是阶段三处理的重点。

章节筛选

版权信息、内容提要、推荐语、前言、资源与支持不纳入正文进度。 正文9章按目录结构预判精读/略读,实际取舍在阶段三逐章处理时按 信息浓度和概念强制生卡规则动态调整。

章节号 章节标题 精读/略读 状态 卡片数
01 云计算时代的数据库 精读:数据库发展史、MPP策略简述、云原生数据库四大特点(性能高/可靠性高/资源弹性/学习成本低)与已完成《新型数据库系统》第1/8章高度重叠,按跨书去重处理,无独有角度不生卡 done 0
02 分布式数据库基础理论和架构 精读:3PC对2PC协调者单点故障的改进及其局限、”全体一致vs多数派”两种一致性协议路线的本质差异是本书独有角度;CAP/BASE基础定义、OLTP/OLAP/HTAP分类与已完成书籍重叠不重复生卡 done 2
03 并发控制 精读:并发控制两维分类框架、快照隔离能防三类冲突但防不了写偏序、SSI谓词锁与索引扫描误报、B*树高键与右兄弟指针的双重动机、Greenplum全局死锁检测GDD算法是本书独有的深度内容,源码级细节浓度极高 done 5
04 Greenplum总体架构 精读:Interconnect弃TCP选UDP的端口数量化论证、非分布键关联的重分布+本地join+gather汇总流程是本书独有角度;PostgreSQL通信协议消息格式细节、Interconnect源码级函数调用链按浓度过滤(工程实现细节,非”为什么”层面) done 2
05 分布式事务的实现 精读:不可重复读/幻读的锁粒度区别、steal-no-force策略与undo/redo日志的对应关系、PostgreSQL用MVCC避免undo log的根本原因、协调者崩溃恢复靠日志+反查参与者重建状态是本书独有角度;PostgreSQL状态机与情景1/2的详细函数调用链源码走查按浓度过滤(工程实现细节) done 4
06 分布式计算的实现 精读:分布式快照靠QD统一生成而非各实例各自判断可见性、有分布键的表能在计划阶段直接定向插入省去运行时重分布、RBO与CBO优化器的决策依据区别(类别清单核对时补充生成)是本书独有角度;本地共享快照/可见性判断的源码级函数调用链、哈希算法实现细节按浓度过滤(工程实现细节) done 3
07 分布式存储的实现 精读:跳跃一致性哈希解决集群扩容的重分布代价、复制分布为小表广播完整副本换取聚合本地化是本书独有角度;heap/AO/AOCO表的行列存储选择与已完成书籍重叠不重复生卡;gpfdist协议/Libcurl库函数/Scan算子源码级函数调用链按浓度过滤 done 2
08 云原生数据库 精读:Greenplum三次上云受挫的共同根因(Interconnect按局域网参数调校)、Hawq与Greenplum是CAP理论的具体产品级权衡是本书独有角度;Greenplum/Pivotal/VMware公司沿革史按浓度过滤 done 2
09 新技术的机遇 精读:NVM读写速度特性让缓存管理和WAL都不再是必需品是本书独有角度(有具体机制支撑,非纯展望);Snowflake存算分离架构与已完成书籍重叠、容器技术评述较简短按浓度过滤 done 1

实践卡进度

序号 实践标题 实践方式 状态(pending/done) 关联章节 产出
001 核对cardbox默认使用的SQLite日志模式对应书中哪种缓存策略 实现深读 done 05 已通过WebSearch核对SQLite官方WAL文档,确认cardbox因未显式配置journal_mode实际运行在steal+undo log(回滚日志)路线下,而非PostgreSQL式no-force+redo log路线
002 核对PostgreSQL官方nbtree源码中高键和右兄弟指针的精确作用 实现深读 done 03 已通过WebSearch核对PostgreSQL官方nbtree README,确认高键+右链接的精确机制是让搜索可在不持读锁的情况下探测并纠正并发分裂,比教材概括更精确
003 评估cardbox当前的事务并发画像是否需要考虑死锁检测 决策实践 done 03/04 已核对cardbox写事务均来自CLI手动触发、Web服务器只读,给出”当前不需要死锁检测机制”的决策依据框架

类别清单核对(数据库/存储引擎类)

维度 覆盖状态(已覆盖/补充生成/未覆盖) 关联卡片标题或未覆盖理由
存储结构与索引原理(B树/LSM树等结构的取舍) 已覆盖 [[B*树用高键和右兄弟指针解决恢复原子性与并发热点问题]](ch03-004);LSM树的写/读/空间放大权衡与已完成书籍(新型数据库系统)重叠不重复生卡
事务与隔离级别 已覆盖 [[不可重复读用行级锁解决幻读用表级锁解决]](ch05-001)、[[快照隔离能防脏读不可重复读幻读但防不了写偏序]](ch03-002)、[[SSI用谓词锁检测读写闭环但索引扫描粒度会导致误报]](ch03-003)
复制与分片策略 已覆盖 [[跳跃一致性哈希让集群扩容不必先改随机分布再改回来]](ch07-001)、[[复制分布为小表广播完整副本换取聚合本地化]](ch07-002)、[[有分布键的表能在计划阶段直接定向插入省去运行时重分布]](ch06-002)
查询优化器原理 补充生成 [[基于规则的优化器不看数据,基于代价的优化器靠统计信息比较方案]](ch06-003,核对清单时发现第6章6.1.1节已有RBO/CBO的实质讲解但此前未生卡,补充生成)
故障恢复机制 已覆盖 [[steal与no-force策略的性能代价用undo与redo日志买单]](ch05-002)、[[协调者崩溃恢复不信共享内存靠日志加反查参与者重建状态]](ch05-004)
并发控制机制 已覆盖 [[并发控制的两维分类乐观程度与版本数]](ch03-001)、[[PostgreSQL用MVCC避免了undo log因为撤销就是让新版本不可见]](ch05-003)
存储与计算的工程权衡(读写放大、压缩策略等) 已覆盖 [[Interconnect弃TCP选UDP的量化论证是端口数会指数级耗尽]](ch04-001)、[[Hawq与Greenplum是CAP理论的一次具体产品级权衡]](ch08-002)、[[NVM的读写速度特性让缓存管理和WAL都不再是必需品]](ch09-001)

待关联术语

术语名 出现章节 一句话语境
Orca优化器 04 Greenplum引入的一种查询优化器,用于产生执行计划,仅提及名称未展开具体优化策略
Legacy优化器 04 PostgreSQL原生优化器经Greenplum并行化处理后的版本,提及cdbparallelize函数但未展开算法细节

引用文献

标题 类型 出现章节 一句话语境

资金安全问题案例

问题标题 问题卡 解决方案卡(如有) 出现章节 一句话说明

相关主题

从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。

主题索引

分布式存储与复制

比较 GFS、HDFS、BigTable、MongoDB、RabbitMQ 等系统的租约、写确认、副本同步、选主与脑裂处理。

501 张卡片 · 64 本书

主题索引

分布式共识与领导者选举

比较分布式共识、领导者选举、副本数量与一致性模型的可靠性取舍。

376 张卡片 · 41 本书

主题索引

容器与编排

比较容器隔离与镜像理念、Kubernetes 的资源模型与控制器、应用封装方案,以及容器存储的抽象与扩展机制。

312 张卡片 · 47 本书

主题索引

分布式事务与一致性

比较内部与外部一致性、XA/2PC/3PC、CAP 与 BASE,以及可靠事件队列、TCC、SAGA、AT 等柔性事务方案。

308 张卡片 · 61 本书

主题索引

大数据计算范式

比较批处理、流式、交互式查询、图计算、分布式机器学习与增量计算的计算模型与取舍。

298 张卡片 · 32 本书

主题索引

一致性模型与CAP权衡

比较顺序一致性、线性一致性、外部一致性等一致性模型,以及 CAP、弱 CAP、HAT、PACELC 对系统取舍的刻画。

193 张卡片 · 49 本书

主题索引

事务与离线并发控制

系统事务的隔离与锁,以及跨越多个请求的业务事务如何用乐观/悲观离线锁、粗粒度锁和隐含锁保持一致。

188 张卡片 · 35 本书

主题索引

数据仓库建模与ETL

串联分析型数仓的主题与分层建模、ETL抽取转换、Hive与Sqoop、增量水位及BI消费路径;保留版本与场景限制。

120 张卡片 · 20 本书

主题索引

故障、部分失效与分布式时钟

比较故障与失效、部分失效、网络与超时的不确定性、时钟漂移与进程暂停,以及系统模型如何界定这些假设。

112 张卡片 · 41 本书

主题索引

隔离级别与并发控制

ACID 各自的边界,脏读、不可重复读、幻读与写偏斜分别由什么机制挡住:两阶段锁与意向锁、MVCC 快照与可见性判断、可串行化快照隔离的冲突检测,以及死锁成因、锁粒度与长事务的代价。

109 张卡片 · 18 本书

主题索引

存储常用数据结构

比较布隆过滤器、跳表、LSM 树、Merkle 树、Cuckoo 哈希等在存储系统中以空间或精度换效率的数据结构。

108 张卡片 · 30 本书

主题索引

查询优化与表达式变换

比较查询优化器依赖的等价变换、语义优化条件,以及重复行、NULL 与写法选择对优化空间的影响。

99 张卡片 · 21 本书

主题索引

事务日志与崩溃恢复

比较 Commit Logging、WAL、Shadow Paging 等保证原子性与持久性的日志与恢复机制。

88 张卡片 · 27 本书

主题索引

日志、崩溃与恢复

预写日志与 redo/undo 的分工,检查点与日志截断,崩溃恢复的重做与回滚阶段,以及不同存储引擎在提交、刷盘与恢复时间上的取舍。

88 张卡片 · 27 本书

主题索引

互斥、条件与死锁

互斥锁与读写锁的适用比例、信号量与 CountDownLatch 的语义差别、条件等待为什么必须持锁并循环复查、锁顺序与可重入导致的死锁,以及粗粒度锁换简单性与细粒度锁换并发的代价。

81 张卡片 · 21 本书

主题索引

存储介质与接口

数据最终落在介质上:闪存的组织与 FTL、写放大与磨损,以及主机到盘的接口协议与电源状态。

80 张卡片 · 12 本书

主题索引

交互式查询与 MPP:把计算压到数据附近

面向交互式分析的执行引擎:列存与分区裁剪、查询编译与向量化执行、重分布连接与并行度、MPP 与混合数仓、Presto 式连接器解耦,以及预计算能省下多少。

61 张卡片 · 8 本书

主题索引

锁的实现与竞争优化

比较锁状态存储、锁膨胀、自旋与排队队列、同步器骨架等锁实现机制及其竞争开销。

45 张卡片 · 7 本书

主题索引

固态存储与FTL

比较 NAND 闪存介质特性、FTL 映射与垃圾回收、写放大、磨损平衡、掉电恢复,以及 LDPC 等纠错机制对 SSD 性能与寿命的影响。

42 张卡片 · 6 本书