主题索引
存储模型选型
比较关系型、键值、列式、文档与全文检索等存储模型的特性取舍与适用场景。
来源书籍
5/5
Skill 版本:v7
作者:梅马拉(Maymala, J.)
四象限结论:工程实践(高信息浓度 + 低稳定性)
评级理由:
全书围绕PostgreSQL数据库的内部工作机制展开:第2章讲解守护进程、共享缓冲区、检查点、WAL与WAL写进程(含恢复、增量备份、复制三条应用路径)、后台写入器、autovacuum、日志与统计信息收集进程;第4章讲解事务ACID属性、隔离级别与MVCC;第7章拆解查询优化器的解析/重写/规划/访问方法/连接策略;第10章比较垂直扩展与水平扩展、流复制与pgpool-II负载均衡、基于时间点的恢复。这些内容解释的是”为什么这样设计”而非单纯的操作步骤,信息浓度较高。
但全书同时大量绑定PostgreSQL 9.x时代的具体细节与工具链:第1章是从源码编译安装的操作步骤(configure/make/makefile),第5、6章分别是SQL Power Architect和pgAdmin3这类特定GUI工具的界面操作教程,第8章的具体参数默认值、第10章的pgpool-II配置路径等都会随版本和工具演进而过时。这决定了全书稳定性偏低,属于工程实践象限——适合作为数据库架构原理与工程权衡的卡片来源,不适合作为当前版本的操作速查手册。
类别:数据库/存储引擎类(判定依据:全书以讲解PostgreSQL这一具体数据库系统的内部原理——进程模型、WAL、MVCC、查询优化器、复制与扩展——为主要目标,命中category-checklists.md“数据库/存储引擎类”清单)
| 章节号 | 章节标题 | 精读/略读 | 状态(pending/done) | 卡片数 |
|---|---|---|---|---|
| 前置 | 作者简介/审校者简介/前言 | 略读:出版背景与本书导读,无独立可生卡的原理性论述 | done | 0 |
| 第1章 | 安装PostgreSQL | 略读:源码编译安装步骤(configure/make/初始化集群),操作步骤性强、版本绑定重,无实质原理讲解 | done | 0 |
| 第2章 | 服务器架构 | 精读:守护进程/共享缓冲区/检查点/WAL/后台写入器/autovacuum等核心机制原理 | done | 7 |
| 第3章 | PostgreSQL——对象层次和角色 | 精读:集群/表空间/数据库/模式/search_path/角色权限等对象层次概念 | done | 5 |
| 第4章 | 使用事务进行工作 | 精读:ACID/隔离级别/MVCC | done | 5 |
| 第5章 | 使用SQL Power Architect进行数据建模 | 略读:特定建模工具的界面操作教程 | done | 0 |
| 第6章 | 客户端工具 | 略读:pgAdmin/psql的界面与元命令操作教程 | done | 0 |
| 第7章 | SQL调优 | 精读:查询执行组件(计划器/访问方法/连接策略)、执行计划、优化原则 | done | 9 |
| 第8章 | 服务器调优 | 精读:内存设置的原理性权衡、物化视图、分区表 | done | 6 |
| 第9章 | PostgreSQL写入与读取数据工具 | 略读为主:COPY/pg_bulkload/pg_dump等工具的操作步骤原理性有限;仅COPY与pg_bulkload的事务性权衡命中概念类内容强制生卡 | done | 1 |
| 第10章 | 扩展、复制、备份和恢复 | 精读:垂直/水平扩展的权衡、流复制、基于时间点的恢复原理 | done | 8 |
| 第11章 | PostgreSQL故障排除 | 略读为主:连接/权限/参数排查为具体操作步骤;仅”查询无响应”的三层诊断方法论命中概念类内容强制生卡 | done | 1 |
| 第12章 | PostgreSQL额外功能 | 精读:range/XML/地理数据类型、外部数据封装器等概念性内容 | done | 6 |
| 术语名 | 出现章节 | 一句话语境 |
|---|---|---|
| 视图(VIEW) | 第3章 | 提及存储查询语句、不存储数据、可作安全子集访问手段,但书中明确表示不深入展开 |
| 标题 | 类型(书/论文/框架/源码项目) | 出现章节 | 一句话语境 |
|---|---|---|---|
| 《高性能PostgreSQL 9.0》(Gregory Smith,格雷戈里·史密斯) | 书 | 第2章 | 提及作为缓存/磁盘I/O优化及fsync选项性能权衡的推荐延伸阅读,未展开该书完整内容 |
| ora2pg / orafce / Pentaho / Talend | 源码项目/框架 | 第9章 | 提及作为Oracle到PostgreSQL迁移、数据转换的工具名称,未展开具体使用方式 |
| Postgres-XC | 源码项目 | 第10章 | 提及作为写扩展的PostgreSQL分片解决方案(含全局事务管理器/协调器/数据节点),未展开完整架构 |
| Slony / pgbouncer | 源码项目 | 第10章 | 提及作为选择性复制、轻量连接池的替代工具名称,未展开具体使用方式 |
| JMeter / New Relic | 框架/工具 | 第10章 | 提及作为性能测试与监测的建议工具,未展开具体使用方式 |
| PostGIS | 源码项目 | 第12章 | 提及作为PostgreSQL空间数据库扩展、GIS场景首选,未展开具体使用方式 |
| ip4r | 源码项目 | 第12章 | 提及作为网络地址类型更好索引支持的项目,未展开具体使用方式 |
| Redis / Riak | 源码项目 | 第12章 | 提及作为无模式键值存储的NoSQL替代方案,未展开具体使用方式 |
| PL/V8 | 框架 | 第12章 | 提及作为可在PostgreSQL中编写JavaScript函数的扩展,未展开具体使用方式 |
| pgbench | 工具 | 第12章 | 提及作为PostgreSQL自带的压测工具,用于配合pgbadger产生数据库负载,未展开完整用法 |
| 序号 | 实践标题 | 实践方式 | 状态(pending/done) | 关联章节 | 产出 |
|---|---|---|---|---|---|
| 001 | checkpoint_segments参数现状核验 | 证据验证 | done | 第2章 | 核验结论:该参数已在9.5被min_wal_size/max_wal_size取代 |
| 002 | pgpool-II与Patroni生态现状核验 | 证据验证 | done | 第10章 | 核验结论:二者并存,Patroni更专注纯HA编排,pgpool-II内置连接池/负载均衡 |
| 003 | PostgreSQL与InnoDB的MVCC实现横向对比 | 横向学习 | done | 第4章 | 对照表:表内多版本+VACUUM vs undo log+purge线程 |
| 维度 | 覆盖状态 | 关联卡片标题或未覆盖理由 |
|---|---|---|
| 存储结构与索引原理 | 已覆盖 | [[减少读写块数量的三种结构性方法:索引、规范化、分区]]、[[索引失效的两种常见原因:低散列度与函数包裹列]]、[[range数据类型:用区间运算符替代手工区间比较]](PostgreSQL全书以B树索引为核心讨论选择性/表达式索引/部分索引/GIST索引,未涉及LSM树等其他结构,经全文关键词检索确认书中未提及LSM) |
| 事务与隔离级别 | 已覆盖 | [[事务的ACID四属性:以转账为例]]、[[隔离级别与三种异常读:脏读/不可重复读/幻读]]、[[提交读与可重复读:快照是按语句还是按事务生成]]、[[序列化级别:用谓词锁检测冲突,而非阻塞加锁]] |
| 复制与分片策略 | 已覆盖 | [[日志传递与流复制:复制延迟从”文件级”降到”记录级”]]、[[从服务器拓扑的三种形态,及同步复制解决的滞后读问题]]、[[数据分片与应用分片:切分的是数据还是模块]]、[[多主全复制的根本性风险:部分成功导致的不可预测]] |
| 查询优化器原理 | 已覆盖 | [[查询执行的四个组件,及计划器的三种数据访问方法]]、[[三种连接策略:嵌套循环、排序合并、散列连接]]、[[读懂EXPLAIN执行计划:cost的含义与ANALYZE的额外信息]]、[[shared_buffers是真实分配,effective_cache_size只是给规划器的提示]]、[[随机/顺序页面成本比例:一个需要按存储介质重新校准的假设]] |
| 故障恢复机制 | 已覆盖 | [[检查点机制:脏页落盘的时机权衡]]、[[WAL的三大用途,及wal_level的三档信息量设置]]、[[PITR:三种触发方式,及大数据库为何必须依赖它]] |
| 并发控制机制 | 部分覆盖 | MVCC机制详尽覆盖([[MVCC死元组与清空的锁级别差异]]、[[MVCC:用xmin/xmax系统列判断行版本的可见性]]),但经全文关键词检索确认,书中始终以MVCC为并发控制的唯一叙事主线,”锁机制”仅作为隔离级别实现细节或VACUUM FULL排他锁等旁支提及,未把传统锁机制(行锁/表锁/咨询锁等)作为与MVCC对照的独立方案展开讨论 |
| 存储与计算的工程权衡 | 部分覆盖 | 读写放大/块级读写已覆盖([[优化前先承认两个基本事实:读远多于写、按块读写]]),但经全文关键词检索(压缩/TOAST)确认,书中提及的”压缩”仅限于pg_dump输出文件的gzip压缩,未讨论数据库存储层面的行/列压缩策略,此维度未覆盖 |
| 问题标题 | 问题卡 | 解决方案卡(如有) | 出现章节 | 一句话说明 |
|---|
| 章节号 | 起始文件 |
|---|---|
| 前置 | text00002.html - text00004.html |
| 第1章 | text00005.html - text00018.html |
| 第2章 | text00019.html - text00034.html |
| 第3章 | text00035.html - text00042.html |
| 第4章 | text00043.html - text00046.html |
| 第5章 | text00047.html - text00056.html |
| 第6章 | text00057.html - text00069.html |
| 第7章 | text00070.html - text00093.html |
| 第8章 | text00093.html - text00101.html |
| 第9章 | text00102.html - text00111.html |
| 第10章 | text00111.html - text00116.html |
| 第11章 | text00117.html - text00122.html |
| 第12章 | text00123.html - text00131.html |
从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。
主题索引
比较关系型、键值、列式、文档与全文检索等存储模型的特性取舍与适用场景。
主题索引
比较 GFS、HDFS、BigTable、MongoDB、RabbitMQ 等系统的租约、写确认、副本同步、选主与脑裂处理。
主题索引
比较冗余容量、故障域、逻辑与物理资源解耦等容量规划与调度方法。
主题索引
比较分库分片主键选择、分布式数据库选型与跨库关联查询的解法。
主题索引
比较进程/线程并发模型、I/O 多路复用、Reactor 与 Proactor 等单机高性能设计。
主题索引
比较备份独立性、恢复可验证性与恢复阶段的设计要点。
主题索引
系统事务的隔离与锁,以及跨越多个请求的业务事务如何用乐观/悲观离线锁、粗粒度锁和隐含锁保持一致。
主题索引
比较最小权限、多方审批、紧急绕过与访问审计的设计取舍。
主题索引
日志该记什么、怎么分级与结构化,采集管道与存储成本,以及审计证据与安全事件还原。
主题索引
比较水平复制、按业务拆分与数据分片等不同维度的扩展手段及其适用问题。
主题索引
串联分析型数仓的主题与分层建模、ETL抽取转换、Hive与Sqoop、增量水位及BI消费路径;保留版本与场景限制。
主题索引
ACID 各自的边界,脏读、不可重复读、幻读与写偏斜分别由什么机制挡住:两阶段锁与意向锁、MVCC 快照与可见性判断、可串行化快照隔离的冲突检测,以及死锁成因、锁粒度与长事务的代价。
主题索引
比较布隆过滤器、跳表、LSM 树、Merkle 树、Cuckoo 哈希等在存储系统中以空间或精度换效率的数据结构。
主题索引
比较查询优化器依赖的等价变换、语义优化条件,以及重复行、NULL 与写法选择对优化空间的影响。
主题索引
比较 Commit Logging、WAL、Shadow Paging 等保证原子性与持久性的日志与恢复机制。
主题索引
预写日志与 redo/undo 的分工,检查点与日志截断,崩溃恢复的重做与回滚阶段,以及不同存储引擎在提交、刷盘与恢复时间上的取舍。
主题索引
比较线程池/工作队列如何设定容量边界、按任务类型配置线程以及越界后的拒绝、丢弃与背压策略。
主题索引
比较排查系统问题时的假设管理、基线对比与复现方法。
主题索引
比较类型、域、元组与关系等数据结构概念及其与约束的分层。
主题索引
比较视图的本质、更新语义、约束与派生规则,以及用视图隔离逻辑结构变化的方法。