主题索引
存储模型选型
比较关系型、键值、列式、文档与全文检索等存储模型的特性取舍与适用场景。
来源书籍
抽样精读第1章后确认:本书讲透"为什么"而非只讲"是什么"—— 1.4节用具体机制(BLOB无法索引/操作、1NF规范化导致现实实体被拆散 成多个关系、SQL分组只能返回单值聚集)逐条论证关系数据库在应对 GIS/多媒体/Web 2.0数据时的局限,1.5节用"One size fits all"(关系 数据库统一模型统一存储)对比"One size fits a bunch"(新型数据库 各自服务特定应用场景)这一组设计理念差异来解释为什么新型数据库 会走向百花齐放而非统一范式,属于讲透设计动机的高浓度内容。但全书 稳定性明显偏低:目录显示后续章节将逐一展开键值/文档/列族/图/云/ 时序/内存/时空/智能化数据库,且大量内容绑定具体产品(Redis、 MongoDB、HBase、Cassandra、Snowflake、Aurora等)及其近十年的 架构演进,这些判断会随具体产品迭代和市场格局变化而调整,不属于 可长期不变的经典原理。因此定级工程实践:设计动机和技术演化脉络 部分浓度高、可迁移,但具体技术展开部分强绑定当前产品生态,稳定性 不如纯理论书籍。 **类别说明**:本书系统讲解新型数据库(键值/文档/列族/图/云/时序/ 内存/时空/智能化)相对传统关系数据库的原理、架构与设计取舍, 命中"数据库/存储引擎类"(判定标准:"以讲解数据库/存储系统内部 原理为主要目标的书籍")。 **与已完成同类书籍的重叠说明(跨书去重)**:本session已完成《数据库 原理(微课版) (郭玉彬,宋歌,边山)》与《数据库系统——原理、设计与 编程(MOOC版) (陆鑫 张凤荔 陈安龙)》两本关系数据库原理类书籍, 覆盖了关系模型三要素、ANSI/SPARC三级模式、事务ACID、并发控制、 备份恢复、CDM/LDM/PDM设计流程等核心抽象概念。本书前两章(关系 数据库回顾、关系模型基础)与上述内容高度重叠,阶段三处理时遵循 "只为本书独有角度生卡"原则:抽象概念不重复生卡,仅在必要时用 `[[已有卡片标题]]`链接到对应卡片;本书真正的独有价值在于第3章 起对新型数据库(键值/文档/列族/图/云/时序/内存/时空/智能化)的 系统性展开,这是前述两本书都未深入覆盖的内容,是本书阶段三处理 的重点。
6/7
Skill 版本:v7
类别:数据库/存储引擎类
四象限结论:工程实践(高信息浓度 + 较低稳定性)
理由:抽样精读第1章后确认:本书讲透”为什么”而非只讲”是什么”—— 1.4节用具体机制(BLOB无法索引/操作、1NF规范化导致现实实体被拆散 成多个关系、SQL分组只能返回单值聚集)逐条论证关系数据库在应对 GIS/多媒体/Web 2.0数据时的局限,1.5节用”One size fits all”(关系 数据库统一模型统一存储)对比”One size fits a bunch”(新型数据库 各自服务特定应用场景)这一组设计理念差异来解释为什么新型数据库 会走向百花齐放而非统一范式,属于讲透设计动机的高浓度内容。但全书 稳定性明显偏低:目录显示后续章节将逐一展开键值/文档/列族/图/云/ 时序/内存/时空/智能化数据库,且大量内容绑定具体产品(Redis、 MongoDB、HBase、Cassandra、Snowflake、Aurora等)及其近十年的 架构演进,这些判断会随具体产品迭代和市场格局变化而调整,不属于 可长期不变的经典原理。因此定级工程实践:设计动机和技术演化脉络 部分浓度高、可迁移,但具体技术展开部分强绑定当前产品生态,稳定性 不如纯理论书籍。
类别说明:本书系统讲解新型数据库(键值/文档/列族/图/云/时序/ 内存/时空/智能化)相对传统关系数据库的原理、架构与设计取舍, 命中”数据库/存储引擎类”(判定标准:”以讲解数据库/存储系统内部 原理为主要目标的书籍”)。
与已完成同类书籍的重叠说明(跨书去重):本session已完成《数据库
原理(微课版) (郭玉彬,宋歌,边山)》与《数据库系统——原理、设计与
编程(MOOC版) (陆鑫 张凤荔 陈安龙)》两本关系数据库原理类书籍,
覆盖了关系模型三要素、ANSI/SPARC三级模式、事务ACID、并发控制、
备份恢复、CDM/LDM/PDM设计流程等核心抽象概念。本书前两章(关系
数据库回顾、关系模型基础)与上述内容高度重叠,阶段三处理时遵循
“只为本书独有角度生卡”原则:抽象概念不重复生卡,仅在必要时用
[[已有卡片标题]]链接到对应卡片;本书真正的独有价值在于第3章
起对新型数据库(键值/文档/列族/图/云/时序/内存/时空/智能化)的
系统性展开,这是前述两本书都未深入覆盖的内容,是本书阶段三处理
的重点。
版权信息、前言、参考文献、推荐阅读不纳入正文进度。正文13章按目录 结构预判精读/略读,实际取舍在阶段三逐章处理时按信息浓度和概念 强制生卡规则动态调整。
| 章节号 | 章节标题 | 精读/略读 | 状态 | 卡片数 |
|---|---|---|---|---|
| 01 | 绪论 | 精读:数据管理三阶段演化、”One size fits all”对比”One size fits a bunch”设计理念、1NF规范化的认知鸿沟代价、分布式数据库三种透明性是本书独有角度;数据/数据库/DBMS等基础定义与已完成书籍重叠按跨书去重处理 | done | 4 |
| 02 | 关系数据库技术回顾 | 精读:ANSI/SPARC三级模式与两级映像(逻辑/物理数据独立性机制)是本书独有的系统性展开,其余关系模型定义/关系代数/SQL发展史/六阶段设计流程与已完成书籍重叠按跨书去重处理 | done | 1 |
| 03 | 新型数据库技术概述 | 精读:横向/纵向扩展成本对比、HTAP资源争抢矛盾、N/W/R一致性量化调节公式、学习索引、时空数据管理的特殊性是本书独有角度;CAP/BASE基础定义与已完成书籍重叠不重复生卡,各类新型数据库的产品罗列按浓度过滤 | done | 5 |
| 04 | 键值数据库技术 | 精读:三种存储引擎(哈希表/B+树/LSM-tree)的场景化权衡、LSM-tree写放大与分片优化、B+树并发控制三级递进、读取/更新/空间放大三角权衡,工程细节浓度高;Redis/LevelDB具体使用示例按浓度过滤 | done | 4 |
| 05 | 文档数据库技术 | 精读:DynamoDB诞生的具体业务动因是本书独有角度;文档嵌套/引用权衡与已完成书籍(数据库系统——原理设计与编程第7章)重叠不重复生卡;MongoDB CRUD语法与安装步骤按浓度过滤 | done | 1 |
| 06 | 列族数据库技术 | 精读:列族数据库与列式数据库的本质差异、HBase主从架构与Cassandra对等架构的可用性/扩容权衡、HBase墓碑式删除机制是本书独有角度;BigTable/HBase存储层次与已完成书籍重叠不重复生卡;安装与shell操作示例按浓度过滤 | done | 3 |
| 07 | 图数据库技术 | 精读:属性图与RDF图对属性的不同处理方式、Neo4j三层API的抽象-性能权衡、原生图存储与借用存储层的架构分野是本书独有角度;”边是一等公民/遍历代价”核心命题与已完成书籍重叠不重复生卡;Cypher语法与Neo4j安装步骤按浓度过滤 | done | 3 |
| 08 | 云数据库技术 | 精读:Shared-Nothing扩容困境与存算分离的延迟代价、Snowflake三层混合架构、Aurora把复制单元从数据页降为redo日志是本书独有角度;国产云数据库产品罗列与Redis安装使用按浓度过滤 | done | 3 |
| 09 | 时序数据库技术 | 精读:InfluxDB分片式整体删除替代LSM逐条墓碑删除、TSI磁盘化索引、Prometheus用标准接口让渡长期存储问题、Kdb+统一内存磁盘查询语法是本书独有角度;InfluxDB具体数据模型与使用示例按浓度过滤 | done | 4 |
| 10 | 内存数据库技术 | 精读:命令日志的日志开销/恢复速度取舍、WBL为NVM设计的”日志滞后于数据库”恢复技术、VoltDB用多机复制替代磁盘写实现持久性是本书独有角度;NUMA/HTM/SIMD/RDMA等硬件机制及Redis安装使用按浓度过滤 | done | 3 |
| 11 | 时空数据库技术 | 精读:栅格/矢量模型取舍、有效时间与事务时间决定的四类时态数据库、三种实现结构(完全型/层次型/扩展型)均未解决查询优化问题是本书独有角度;”时空数据管理不是简单叠加”命题与本书第3章重叠不重复生卡;时空变化形式化定义(对象级/属性级/描述子)按学术形式化过滤 | done | 3 |
| 12 | 智能化数据库技术 | 精读:机器学习i.i.d.假设与关系数据语义关联的冲突、自优化/自监控/自诊断/自恢复四切面框架、代价估计建立在基数估计之上(类别清单核对时补充生成)是本书独有角度;学习索引与本书第3章重叠不重复生卡;企业产品罗列与发展趋势展望按浓度过滤 | done | 3 |
| 13 | 挑战与展望 | 精读:全章为对未来技术挑战与发展方向的预测性讨论(新硬件/智能化/多模态数据库面临的问题、端边云计算模式、AI原生数据库展望),属于开放性展望而非已确立的原理/机制,按浓度过滤不生卡 | done | 0 |
| 序号 | 实践标题 | 实践方式 | 状态(pending/done) | 关联章节 | 产出 |
|---|---|---|---|---|---|
| 001 | 核对cardbox实际依赖的SQLite并发粒度与书中B+树三级方案的差距 | 实现深读 | done | 04 | 已通过WebSearch核对SQLite官方文档,确认标准SQLite锁粒度是整库而非B+树节点级,细粒度并发仅存在于官方实验分支,产出与cardbox实际配置的对照记录 |
| 002 | 核对Aurora仅传redo日志的官方设计细节与真实网络I/O降幅 | 实现深读 | done | 08 | 已通过WebSearch核对Aurora官方SIGMOD论文与AWS技术博客,确认网络I/O降幅官方数字为最多30倍,并补充redo处理/数据块物化/垃圾回收/备份均下放存储节点的完整设计全貌 |
| 003 | 评估cardbox当前依赖磁盘写而非复制的持久性策略是否匹配其真实风险 | 决策实践 | done | 10 | 已核对cardbox代码与git仓库状态,确认数据库可从markdown源文件通过import命令重建,给出”当前零复制策略是否合理”的判断框架 |
| 维度 | 覆盖状态(已覆盖/补充生成/未覆盖) | 关联卡片标题或未覆盖理由 |
|---|---|---|
| 存储结构与索引原理(B树/LSM树等结构的取舍) | 已覆盖 | [[三种键值存储引擎的场景化权衡:哈希表/B+树/LSM-tree]](ch04-001)、[[LSM-tree用分片把写放大从T降到1]](ch04-002)、[[学习索引:用机器学习模型替代B+树的分层查找]](ch03-004) |
| 事务与隔离级别 | 未覆盖 | 全书仅在第5章(MongoDB快照隔离)、第10章(SAP HANA隔离级别)提及”隔离级别”一词,均为一笔带过的产品特性罗列,未展开隔离级别的定义、种类或权衡机制 |
| 复制与分片策略 | 已覆盖 | [[存算分离:用网络延迟换取计算与存储的独立弹性]](ch08-001)、[[Aurora的关键洞察:把复制单元从数据页换成redo日志降低网络IOPS]](ch08-003)、[[VoltDB:用多机复制而非磁盘写保证持久性]](ch10-003) |
| 查询优化器原理 | 补充生成 | [[代价估计建立在基数估计之上,而基数估计依赖数据分布假设]](ch12-003,核对清单时发现第12章已有实质讲解但此前未生卡,补充生成) |
| 故障恢复机制 | 已覆盖 | [[InfluxDB用分片整体删除替代LSM树的逐条墓碑删除]](ch09-001)、[[命令日志:记录”要做什么”,而非”改了什么”]](ch10-001)、[[WBL为NVM设计:日志总是”稍微落后于”数据库]](ch10-002) |
| 并发控制机制 | 已覆盖 | [[B+树并发控制的三级递进:锁耦合→乐观锁→无锁]](ch04-003);内存数据库MVCC/HTM机制在第10章有涉及但按浓度过滤未单独生卡 |
| 存储与计算的工程权衡(读写放大、压缩策略等) | 已覆盖 | [[存算分离:用网络延迟换取计算与存储的独立弹性]](ch08-001)、[[读取/更新/内存放大:键值存储设计的三角权衡]](ch04-004)、[[InfluxDB用分片整体删除替代LSM树的逐条墓碑删除]](ch09-001) |
| 术语名 | 出现章节 | 一句话语境 |
|---|---|---|
| Gossip协议 | 06 | Cassandra用于环内节点间状态信息传播和故障检测的通信协议,未展开具体传播算法 |
| Phi增量故障检测算法 | 06 | Cassandra基于Gossip协议实现节点故障检测所用的具体算法,仅提及名称 |
| 逆熵/读修复/提示移交/分布式删除 | 06 | Cassandra维护最终一致性所用的四种技术,仅列出名称未展开各自机制 |
| 标题 | 类型 | 出现章节 | 一句话语境 |
|---|
| 问题标题 | 问题卡 | 解决方案卡(如有) | 出现章节 | 一句话说明 |
|---|
从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。
主题索引
比较关系型、键值、列式、文档与全文检索等存储模型的特性取舍与适用场景。
主题索引
比较 GFS、HDFS、BigTable、MongoDB、RabbitMQ 等系统的租约、写确认、副本同步、选主与脑裂处理。
主题索引
比较内部与外部一致性、XA/2PC/3PC、CAP 与 BASE,以及可靠事件队列、TCC、SAGA、AT 等柔性事务方案。
主题索引
比较分库分片主键选择、分布式数据库选型与跨库关联查询的解法。
主题索引
比较顺序一致性、线性一致性、外部一致性等一致性模型,以及 CAP、弱 CAP、HAT、PACELC 对系统取舍的刻画。
主题索引
比较算法加速、任务卸载、异构计算与 DPU/IPU 的递进关系,处理器谱系的指令复杂度取舍,以及决定加速收益的可加速比例、数据搬运和能耗根源。
主题索引
比较水平复制、按业务拆分与数据分片等不同维度的扩展手段及其适用问题。
主题索引
串联分析型数仓的主题与分层建模、ETL抽取转换、Hive与Sqoop、增量水位及BI消费路径;保留版本与场景限制。
主题索引
比较布隆过滤器、跳表、LSM 树、Merkle 树、Cuckoo 哈希等在存储系统中以空间或精度换效率的数据结构。
主题索引
比较查询优化器依赖的等价变换、语义优化条件,以及重复行、NULL 与写法选择对优化空间的影响。
主题索引
GPU/FPGA/ASIC 的谱系与配比,DPU/IPU 把网络与存储卸载出主机后的架构变化,虚拟化硬件加速与设备直通、加速设备管理的落地形态。
主题索引
比较视图的本质、更新语义、约束与派生规则,以及用视图隔离逻辑结构变化的方法。
主题索引
比较数据冗余引发的异常、函数依赖与多值依赖、范式递进标准、公理与闭包推理、模式分解质量以及反规范化的取舍。
主题索引
比较关系模型的来源、精确定义、目标与基本原理,以及它与其他数据模型在理论根基上的差异。