来源书籍

数据架构师的PostgreSQL修炼_高效设计、开发与维护数据库应用

Skill 版本:v7 数据库/存储引擎类 工程实践(高信息浓度 + 低稳定性) 48 张卡片

尚未生成整书笔记。

类别清单覆盖

5/5

已覆盖 5 补充生成 0 未覆盖 0

章节与卡片

02 服务器架构

7 张卡片
  1. 守护进程与后端进程:一对多的连接服务模型 理解等级:未标注 结构图卡
  2. 共享缓冲区:多级缓存降低物理I/O的条件 理解等级:未标注 结构图卡
  3. 检查点机制:脏页落盘的时机权衡 理解等级:未标注 结构图卡
  4. WAL的三大用途,及wal_level的三档信息量设置 理解等级:未标注 结构图卡
  5. 后台写入器与检查点进程的分工 理解等级:未标注 普通读书笔记卡
  6. MVCC导致死元组,VACUUM与VACUUM FULL的锁级别差异 理解等级:未标注 普通读书笔记卡
  7. work_mem与maintenance_work_mem:会话级分配的放大陷阱 理解等级:未标注 普通读书笔记卡

03 PostgreSQL——对象层次和角色

5 张卡片
  1. PostgreSQL集群:必然存在的资源边界,而非可选功能 理解等级:未标注 普通读书笔记卡
  2. 表空间:容器的用途,及跨服务器恢复的隐藏依赖 理解等级:未标注 普通读书笔记卡
  3. 临时表与无日志表:用持久性换性能的两种表 理解等级:未标注 普通读书笔记卡
  4. search_path决定对象可见性顺序,及模式/数据库的取舍 理解等级:未标注 结构图卡
  5. CREATE USER与CREATE ROLE的LOGIN差异,及角色继承 理解等级:未标注 普通读书笔记卡

04 使用事务进行工作

5 张卡片
  1. 事务的ACID四属性:以转账为例 理解等级:未标注 普通读书笔记卡
  2. 隔离级别与三种异常读:脏读/不可重复读/幻读 理解等级:未标注 结构图卡
  3. 提交读与可重复读:快照是按语句还是按事务生成 理解等级:未标注 普通读书笔记卡
  4. 序列化级别:用谓词锁检测冲突,而非阻塞加锁 理解等级:未标注 普通读书笔记卡
  5. MVCC:用xmin/xmax系统列判断行版本的可见性 理解等级:未标注 结构图卡

07 SQL调优

9 张卡片
  1. 优化前先承认两个基本事实:读远多于写、按块读写 理解等级:未标注 普通读书笔记卡
  2. 减少读写块数量的三种结构性方法:索引、规范化、分区 理解等级:未标注 结构图卡
  3. 查询执行的四个组件,及计划器的三种数据访问方法 理解等级:未标注 结构图卡
  4. 三种连接策略:嵌套循环、排序合并、散列连接 理解等级:未标注 结构图卡
  5. 读懂EXPLAIN执行计划:cost的含义与ANALYZE的额外信息 理解等级:未标注 普通读书笔记卡
  6. 索引失效的两种常见原因:低散列度与函数包裹列 理解等级:未标注 结构图卡
  7. CTE(WITH子句)是优化围栏,且默认会被物化 理解等级:未标注 普通读书笔记卡
  8. 函数的三种稳定性类别,决定它能否被优化重用 理解等级:未标注 普通读书笔记卡
  9. 常见SQL调优经验法则:从索引到扫描次数 理解等级:未标注 结构图卡

08 服务器调优

6 张卡片
  1. shared_buffers是真实分配,effective_cache_size只是给规划器的提示 理解等级:未标注 结构图卡
  2. max_connections与work_mem的联动风险,及处理连接过多的正确顺序 理解等级:未标注 普通读书笔记卡
  3. default_statistics_target:统计信息抽样量如何影响执行计划 理解等级:未标注 普通读书笔记卡
  4. 随机/顺序页面成本比例:一个需要按存储介质重新校准的假设 理解等级:未标注 结构图卡
  5. 物化视图与视图的关键区别:新鲜度换存储,存储换性能 理解等级:未标注 普通读书笔记卡
  6. 分区表:约束排除跳过扫描,触发器与规则的路由权衡 理解等级:未标注 结构图卡

09 PostgreSQL写入与读取数据工具

1 张卡片
  1. COPY的事务性保证,与pg_bulkload用持久性换速度 理解等级:未标注 普通读书笔记卡

10 扩展、复制、备份和恢复

8 张卡片
  1. 可扩展性问题诊断清单,及修复成本的递增顺序 理解等级:未标注 普通读书笔记卡
  2. 垂直扩展与水平扩展的核心权衡 理解等级:未标注 结构图卡
  3. 日志传递与流复制:复制延迟从"文件级"降到"记录级" 理解等级:未标注 结构图卡
  4. pgpool-II中间件的三大能力,及各自的风险点 理解等级:未标注 普通读书笔记卡
  5. 从服务器拓扑的三种形态,及同步复制解决的滞后读问题 理解等级:未标注 结构图卡
  6. 数据分片与应用分片:切分的是数据还是模块 理解等级:未标注 结构图卡
  7. 多主全复制的根本性风险:部分成功导致的不可预测 理解等级:未标注 普通读书笔记卡
  8. PITR:三种触发方式,及大数据库为何必须依赖它 理解等级:未标注 结构图卡

11 PostgreSQL故障排除

1 张卡片
  1. 查询无响应的三层递进诊断法:数据库→系统调用→操作系统资源 理解等级:未标注 结构图卡

12 PostgreSQL额外功能

6 张卡片
  1. range数据类型:用区间运算符替代手工区间比较 理解等级:未标注 普通读书笔记卡
  2. hstore:不引入新技术栈就能解决的半结构化存储需求 理解等级:未标注 普通读书笔记卡
  3. JSON与jsonb:存储原样文本还是二进制解析后的结构 理解等级:未标注 普通读书笔记卡
  4. 外部数据封装器:把外部数据源伪装成本地表 理解等级:未标注 结构图卡
  5. pgbadger:从日志报表反推参数设置是否合理 理解等级:未标注 普通读书笔记卡
  6. PostgreSQL 9.4的四个特性,各自解决什么具体痛点 理解等级:未标注 结构图卡

全书概览

数据架构师的PostgreSQL修炼:高效设计、开发与维护数据库应用

Skill 版本:v7

作者:梅马拉(Maymala, J.)

整体评级

四象限结论:工程实践(高信息浓度 + 低稳定性)

评级理由:

全书围绕PostgreSQL数据库的内部工作机制展开:第2章讲解守护进程、共享缓冲区、检查点、WAL与WAL写进程(含恢复、增量备份、复制三条应用路径)、后台写入器、autovacuum、日志与统计信息收集进程;第4章讲解事务ACID属性、隔离级别与MVCC;第7章拆解查询优化器的解析/重写/规划/访问方法/连接策略;第10章比较垂直扩展与水平扩展、流复制与pgpool-II负载均衡、基于时间点的恢复。这些内容解释的是”为什么这样设计”而非单纯的操作步骤,信息浓度较高。

但全书同时大量绑定PostgreSQL 9.x时代的具体细节与工具链:第1章是从源码编译安装的操作步骤(configure/make/makefile),第5、6章分别是SQL Power Architect和pgAdmin3这类特定GUI工具的界面操作教程,第8章的具体参数默认值、第10章的pgpool-II配置路径等都会随版本和工具演进而过时。这决定了全书稳定性偏低,属于工程实践象限——适合作为数据库架构原理与工程权衡的卡片来源,不适合作为当前版本的操作速查手册。

类别:数据库/存储引擎类(判定依据:全书以讲解PostgreSQL这一具体数据库系统的内部原理——进程模型、WAL、MVCC、查询优化器、复制与扩展——为主要目标,命中category-checklists.md“数据库/存储引擎类”清单)

章节进度

章节号 章节标题 精读/略读 状态(pending/done) 卡片数
前置 作者简介/审校者简介/前言 略读:出版背景与本书导读,无独立可生卡的原理性论述 done 0
第1章 安装PostgreSQL 略读:源码编译安装步骤(configure/make/初始化集群),操作步骤性强、版本绑定重,无实质原理讲解 done 0
第2章 服务器架构 精读:守护进程/共享缓冲区/检查点/WAL/后台写入器/autovacuum等核心机制原理 done 7
第3章 PostgreSQL——对象层次和角色 精读:集群/表空间/数据库/模式/search_path/角色权限等对象层次概念 done 5
第4章 使用事务进行工作 精读:ACID/隔离级别/MVCC done 5
第5章 使用SQL Power Architect进行数据建模 略读:特定建模工具的界面操作教程 done 0
第6章 客户端工具 略读:pgAdmin/psql的界面与元命令操作教程 done 0
第7章 SQL调优 精读:查询执行组件(计划器/访问方法/连接策略)、执行计划、优化原则 done 9
第8章 服务器调优 精读:内存设置的原理性权衡、物化视图、分区表 done 6
第9章 PostgreSQL写入与读取数据工具 略读为主:COPY/pg_bulkload/pg_dump等工具的操作步骤原理性有限;仅COPY与pg_bulkload的事务性权衡命中概念类内容强制生卡 done 1
第10章 扩展、复制、备份和恢复 精读:垂直/水平扩展的权衡、流复制、基于时间点的恢复原理 done 8
第11章 PostgreSQL故障排除 略读为主:连接/权限/参数排查为具体操作步骤;仅”查询无响应”的三层诊断方法论命中概念类内容强制生卡 done 1
第12章 PostgreSQL额外功能 精读:range/XML/地理数据类型、外部数据封装器等概念性内容 done 6

待关联术语

术语名 出现章节 一句话语境
视图(VIEW) 第3章 提及存储查询语句、不存储数据、可作安全子集访问手段,但书中明确表示不深入展开

引用文献

标题 类型(书/论文/框架/源码项目) 出现章节 一句话语境
《高性能PostgreSQL 9.0》(Gregory Smith,格雷戈里·史密斯) 书 第2章 提及作为缓存/磁盘I/O优化及fsync选项性能权衡的推荐延伸阅读,未展开该书完整内容
ora2pg / orafce / Pentaho / Talend 源码项目/框架 第9章 提及作为Oracle到PostgreSQL迁移、数据转换的工具名称,未展开具体使用方式
Postgres-XC 源码项目 第10章 提及作为写扩展的PostgreSQL分片解决方案(含全局事务管理器/协调器/数据节点),未展开完整架构
Slony / pgbouncer 源码项目 第10章 提及作为选择性复制、轻量连接池的替代工具名称,未展开具体使用方式
JMeter / New Relic 框架/工具 第10章 提及作为性能测试与监测的建议工具,未展开具体使用方式
PostGIS 源码项目 第12章 提及作为PostgreSQL空间数据库扩展、GIS场景首选,未展开具体使用方式
ip4r 源码项目 第12章 提及作为网络地址类型更好索引支持的项目,未展开具体使用方式
Redis / Riak 源码项目 第12章 提及作为无模式键值存储的NoSQL替代方案,未展开具体使用方式
PL/V8 框架 第12章 提及作为可在PostgreSQL中编写JavaScript函数的扩展,未展开具体使用方式
pgbench 工具 第12章 提及作为PostgreSQL自带的压测工具,用于配合pgbadger产生数据库负载,未展开完整用法

实践卡进度

序号 实践标题 实践方式 状态(pending/done) 关联章节 产出
001 checkpoint_segments参数现状核验 证据验证 done 第2章 核验结论:该参数已在9.5被min_wal_size/max_wal_size取代
002 pgpool-II与Patroni生态现状核验 证据验证 done 第10章 核验结论:二者并存,Patroni更专注纯HA编排,pgpool-II内置连接池/负载均衡
003 PostgreSQL与InnoDB的MVCC实现横向对比 横向学习 done 第4章 对照表:表内多版本+VACUUM vs undo log+purge线程

类别清单核对(数据库/存储引擎类)

维度 覆盖状态 关联卡片标题或未覆盖理由
存储结构与索引原理 已覆盖 [[减少读写块数量的三种结构性方法:索引、规范化、分区]]、[[索引失效的两种常见原因:低散列度与函数包裹列]]、[[range数据类型:用区间运算符替代手工区间比较]](PostgreSQL全书以B树索引为核心讨论选择性/表达式索引/部分索引/GIST索引,未涉及LSM树等其他结构,经全文关键词检索确认书中未提及LSM)
事务与隔离级别 已覆盖 [[事务的ACID四属性:以转账为例]]、[[隔离级别与三种异常读:脏读/不可重复读/幻读]]、[[提交读与可重复读:快照是按语句还是按事务生成]]、[[序列化级别:用谓词锁检测冲突,而非阻塞加锁]]
复制与分片策略 已覆盖 [[日志传递与流复制:复制延迟从”文件级”降到”记录级”]]、[[从服务器拓扑的三种形态,及同步复制解决的滞后读问题]]、[[数据分片与应用分片:切分的是数据还是模块]]、[[多主全复制的根本性风险:部分成功导致的不可预测]]
查询优化器原理 已覆盖 [[查询执行的四个组件,及计划器的三种数据访问方法]]、[[三种连接策略:嵌套循环、排序合并、散列连接]]、[[读懂EXPLAIN执行计划:cost的含义与ANALYZE的额外信息]]、[[shared_buffers是真实分配,effective_cache_size只是给规划器的提示]]、[[随机/顺序页面成本比例:一个需要按存储介质重新校准的假设]]
故障恢复机制 已覆盖 [[检查点机制:脏页落盘的时机权衡]]、[[WAL的三大用途,及wal_level的三档信息量设置]]、[[PITR:三种触发方式,及大数据库为何必须依赖它]]
并发控制机制 部分覆盖 MVCC机制详尽覆盖([[MVCC死元组与清空的锁级别差异]]、[[MVCC:用xmin/xmax系统列判断行版本的可见性]]),但经全文关键词检索确认,书中始终以MVCC为并发控制的唯一叙事主线,”锁机制”仅作为隔离级别实现细节或VACUUM FULL排他锁等旁支提及,未把传统锁机制(行锁/表锁/咨询锁等)作为与MVCC对照的独立方案展开讨论
存储与计算的工程权衡 部分覆盖 读写放大/块级读写已覆盖([[优化前先承认两个基本事实:读远多于写、按块读写]]),但经全文关键词检索(压缩/TOAST)确认,书中提及的”压缩”仅限于pg_dump输出文件的gzip压缩,未讨论数据库存储层面的行/列压缩策略,此维度未覆盖

资金安全问题案例

问题标题 问题卡 解决方案卡(如有) 出现章节 一句话说明

附:EPUB spine 文件映射(关键章节起始页)

章节号 起始文件
前置 text00002.html - text00004.html
第1章 text00005.html - text00018.html
第2章 text00019.html - text00034.html
第3章 text00035.html - text00042.html
第4章 text00043.html - text00046.html
第5章 text00047.html - text00056.html
第6章 text00057.html - text00069.html
第7章 text00070.html - text00093.html
第8章 text00093.html - text00101.html
第9章 text00102.html - text00111.html
第10章 text00111.html - text00116.html
第11章 text00117.html - text00122.html
第12章 text00123.html - text00131.html

相关主题

从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。

主题索引

存储模型选型

比较关系型、键值、列式、文档与全文检索等存储模型的特性取舍与适用场景。

699 张卡片 · 63 本书

主题索引

分布式存储与复制

比较 GFS、HDFS、BigTable、MongoDB、RabbitMQ 等系统的租约、写确认、副本同步、选主与脑裂处理。

501 张卡片 · 64 本书

主题索引

容量规划与资源调度

比较冗余容量、故障域、逻辑与物理资源解耦等容量规划与调度方法。

344 张卡片 · 74 本书

主题索引

单机高性能与I/O模型

比较进程/线程并发模型、I/O 多路复用、Reactor 与 Proactor 等单机高性能设计。

226 张卡片 · 46 本书

主题索引

备份与故障恢复

比较备份独立性、恢复可验证性与恢复阶段的设计要点。

198 张卡片 · 40 本书

主题索引

事务与离线并发控制

系统事务的隔离与锁,以及跨越多个请求的业务事务如何用乐观/悲观离线锁、粗粒度锁和隐含锁保持一致。

188 张卡片 · 35 本书

主题索引

最小特权与访问控制

比较最小权限、多方审批、紧急绕过与访问审计的设计取舍。

175 张卡片 · 72 本书

主题索引

日志、审计与取证

日志该记什么、怎么分级与结构化,采集管道与存储成本,以及审计证据与安全事件还原。

167 张卡片 · 46 本书

主题索引

系统扩展的维度

比较水平复制、按业务拆分与数据分片等不同维度的扩展手段及其适用问题。

134 张卡片 · 52 本书

主题索引

数据仓库建模与ETL

串联分析型数仓的主题与分层建模、ETL抽取转换、Hive与Sqoop、增量水位及BI消费路径;保留版本与场景限制。

120 张卡片 · 20 本书

主题索引

隔离级别与并发控制

ACID 各自的边界,脏读、不可重复读、幻读与写偏斜分别由什么机制挡住:两阶段锁与意向锁、MVCC 快照与可见性判断、可串行化快照隔离的冲突检测,以及死锁成因、锁粒度与长事务的代价。

109 张卡片 · 18 本书

主题索引

存储常用数据结构

比较布隆过滤器、跳表、LSM 树、Merkle 树、Cuckoo 哈希等在存储系统中以空间或精度换效率的数据结构。

108 张卡片 · 30 本书

主题索引

查询优化与表达式变换

比较查询优化器依赖的等价变换、语义优化条件,以及重复行、NULL 与写法选择对优化空间的影响。

99 张卡片 · 21 本书

主题索引

事务日志与崩溃恢复

比较 Commit Logging、WAL、Shadow Paging 等保证原子性与持久性的日志与恢复机制。

88 张卡片 · 27 本书

主题索引

日志、崩溃与恢复

预写日志与 redo/undo 的分工,检查点与日志截断,崩溃恢复的重做与回滚阶段,以及不同存储引擎在提交、刷盘与恢复时间上的取舍。

88 张卡片 · 27 本书

主题索引

线程池容量边界与过载策略

比较线程池/工作队列如何设定容量边界、按任务类型配置线程以及越界后的拒绝、丢弃与背压策略。

75 张卡片 · 34 本书

主题索引

故障排查与根因分析

比较排查系统问题时的假设管理、基线对比与复现方法。

74 张卡片 · 21 本书

主题索引

类型、域与关系结构

比较类型、域、元组与关系等数据结构概念及其与约束的分层。

36 张卡片 · 6 本书

主题索引

视图与逻辑数据独立性

比较视图的本质、更新语义、约束与派生规则,以及用视图隔离逻辑结构变化的方法。

19 张卡片 · 5 本书