来源书籍

TiDB源码阅读系列文章

Skill 版本:v23 工程实践(高信息浓度、低稳定性) 153 张卡片

全文解释优化器的属性与统计推导、算子并发和恢复边界,信息浓度高;具体接口、约束与源码路径依赖早期实现,因此稳定性评为低。

申砾 · 2019-03-13

章节与卡片

01 TiDB 源码阅读系列文章(一)序

2 张卡片
  1. 源码阅读的验证闭环 理解等级:中级 普通读书笔记卡
  2. SQL服务的阅读边界 理解等级:中级 普通读书笔记卡

02 TiDB 源码阅读系列文章(二)初识 TiDB 源码

9 张卡片
  1. SQL引擎的三层职责 理解等级:中级 结构图卡
  2. 按问题选择源码入口 理解等级:中级 普通读书笔记卡
  3. 事务KV与计算下推 理解等级:中级 普通读书笔记卡
  4. 元信息的分层存放 理解等级:中级 普通读书笔记卡
  5. 共享上下文与域 理解等级:中级 普通读书笔记卡
  6. 关系数据的KV编码 理解等级:中级 普通读书笔记卡
  7. 集群任务的唯一执行者 理解等级:中级 普通读书笔记卡
  8. 全局标识区分元数据对象 理解等级:中级 普通读书笔记卡
  9. 表达式与类型分工 理解等级:中级 普通读书笔记卡

03 TiDB 源码阅读系列文章(三)SQL 的一生

6 张卡片
  1. 命令分发到会话执行 理解等级:中级 普通读书笔记卡
  2. 声明式SQL需要补算法 理解等级:中级 普通读书笔记卡
  3. AST与计划的区别 理解等级:中级 普通读书笔记卡
  4. 结果集是惰性读取接口 理解等级:中级 普通读书笔记卡
  5. 火山模型的拉取驱动 理解等级:中级 结构图卡
  6. 查询与写语句驱动时机 理解等级:中级 普通读书笔记卡

04 TiDB 源码阅读系列文章(四)Insert 语句概览

4 张卡片
  1. 插入计划补全写入语义 理解等级:中级 普通读书笔记卡
  2. 简单插入绕过逻辑优化 理解等级:中级 普通读书笔记卡
  3. 写入缓存与提交分离 理解等级:中级 普通读书笔记卡
  4. 索引KV的定位作用 理解等级:中级 普通读书笔记卡

05 TiDB 源码阅读系列文章(五)TiDB SQL Parser 的实现

8 张卡片
  1. 词法与语法分析分工 理解等级:中级 普通读书笔记卡
  2. 移进归约的工作方式 理解等级:中级 普通读书笔记卡
  3. 产生式动作构建AST 理解等级:中级 普通读书笔记卡
  4. 语义值承载解析结果 理解等级:中级 普通读书笔记卡
  5. Scanner满足词法接口 理解等级:中级 结构图卡
  6. Visitor分离遍历处理 理解等级:中级 结构图卡
  7. 语法规则与语义处理分界 理解等级:中级 普通读书笔记卡
  8. 终结符与非终结符 理解等级:中级 普通读书笔记卡

06 TiDB 源码阅读系列文章(六)Select 语句概览

6 张卡片
  1. 逻辑与物理优化分工 理解等级:中级 普通读书笔记卡
  2. 按属性搜索物理计划 理解等级:中级 普通读书笔记卡
  3. 根任务与下推任务 理解等级:中级 普通读书笔记卡
  4. 表达式下推有能力边界 理解等级:中级 普通读书笔记卡
  5. Region级分布式查询 理解等级:中级 普通读书笔记卡
  6. DistSQL隔离分布式细节 理解等级:中级 普通读书笔记卡

07 TiDB 源码阅读系列文章(七)基于规则的优化

8 张卡片
  1. 关系算子的基本职责 理解等级:中级 普通读书笔记卡
  2. 列裁剪保留隐含依赖 理解等级:中级 普通读书笔记卡
  3. 极值改写依赖有序访问 理解等级:高级 普通读书笔记卡
  4. 冗余投影可以消除 理解等级:中级 普通读书笔记卡
  5. 谓词下推保留剩余条件 理解等级:中级 普通读书笔记卡
  6. 空值拒绝约束外连接改写 理解等级:高级 普通读书笔记卡
  7. 过滤不能任意跨越限额 理解等级:高级 普通读书笔记卡
  8. 唯一键属性辅助优化 理解等级:中级 普通读书笔记卡

08 TiDB 源码阅读系列文章(八)基于代价的优化

7 张卡片
  1. 所需属性约束候选计划 理解等级:中级 普通读书笔记卡
  2. 按属性记忆化搜索 理解等级:中级 普通读书笔记卡
  3. 统计信息估算输出规模 理解等级:高级 普通读书笔记卡
  4. 期望行数影响提前停止 理解等级:高级 普通读书笔记卡
  5. 双读成本不能过早裁掉 理解等级:高级 普通读书笔记卡
  6. 属性剪枝减少排列爆炸 理解等级:中级 普通读书笔记卡
  7. 连接基数估计依赖分布假设 理解等级:高级 普通读书笔记卡

09 TiDB 源码阅读系列文章(九)Hash Join

7 张卡片
  1. 哈希连接的构建与探测 理解等级:中级 普通读书笔记卡
  2. 重复连接键需要多值映射 理解等级:中级 普通读书笔记卡
  3. 探测任务与Chunk回收 理解等级:中级 结构图卡
  4. 结果传递交换复用内存 理解等级:中级 普通读书笔记卡
  5. 连接条件分层计算 理解等级:中级 普通读书笔记卡
  6. 普通等值连接不匹配空键 理解等级:中级 普通读书笔记卡
  7. 连接类型决定输出形态 理解等级:中级 普通读书笔记卡

10 TiDB 源码阅读系列文章(十)Chunk 和执行框架简介

4 张卡片
  1. 列式Chunk压缩对象开销 理解等级:中级 普通读书笔记卡
  2. 定长与变长列的定位 理解等级:中级 普通读书笔记卡
  3. 行视图无需复制整行 理解等级:中级 普通读书笔记卡
  4. 批处理的收益与代价 理解等级:高级 普通读书笔记卡

11 TiDB 源码阅读系列文章(十一)Index Lookup Join

5 张卡片
  1. 嵌套循环到索引连接 理解等级:中级 普通读书笔记卡
  2. 并行取数按任务保序 理解等级:中级 普通读书笔记卡
  3. 自适应批次平衡开销 理解等级:高级 普通读书笔记卡
  4. 过滤位图避免复制行 理解等级:中级 普通读书笔记卡
  5. 查询键去重保留结果重数 理解等级:中级 普通读书笔记卡

12 TiDB 源码阅读系列文章(十二)统计信息(上)

11 张卡片
  1. 统计摘要替代穷举执行 理解等级:中级 普通读书笔记卡
  2. 等深直方图描述分布 理解等级:高级 普通读书笔记卡
  3. 最小计数Sketch估频 理解等级:高级 普通读书笔记卡
  4. 去噪Sketch改变误差界 理解等级:高级 普通读书笔记卡
  5. 蓄水池均匀抽样 理解等级:中级 普通读书笔记卡
  6. 重复值不跨直方桶 理解等级:中级 普通读书笔记卡
  7. 有序索引在线建桶 理解等级:中级 普通读书笔记卡
  8. 反馈按桶定位误差 理解等级:中级 普通读书笔记卡
  9. 桶边界随查询热点调整 理解等级:中级 普通读书笔记卡
  10. 多列估计减少独立假设 理解等级:高级 普通读书笔记卡
  11. 查询反馈校正频次与桶高 理解等级:高级 普通读书笔记卡

13 TiDB 源码阅读系列文章(十三)索引范围计算简介

7 张卡片
  1. 访问条件与残余过滤 理解等级:中级 普通读书笔记卡
  2. 或条件范围必须覆盖分支 理解等级:高级 普通读书笔记卡
  3. 组合索引按前缀收紧 理解等级:中级 普通读书笔记卡
  4. 表达式形状影响范围识别 理解等级:高级 普通读书笔记卡
  5. 端点扫描计算区间交并 理解等级:中级 普通读书笔记卡
  6. 组合范围的字典序展开 理解等级:中级 普通读书笔记卡
  7. 函数包列限制索引提取 理解等级:高级 普通读书笔记卡

14 TiDB 源码阅读系列文章(十四)统计信息(下)

5 张卡片
  1. 统计表示复用列式存储 理解等级:中级 普通读书笔记卡
  2. 反馈范围映射跨越Region 理解等级:中级 普通读书笔记卡
  3. 分裂预算与低误差合并 理解等级:中级 普通读书笔记卡
  4. 条件覆盖优先选择索引 理解等级:高级 普通读书笔记卡
  5. 平均分摊误差会失真 理解等级:高级 普通读书笔记卡

15 TiDB 源码阅读系列文章(十五)Sort Merge Join

3 张卡片
  1. 归并连接利用有序输入 理解等级:中级 普通读书笔记卡
  2. 同键组必须保留全部组合 理解等级:高级 普通读书笔记卡
  3. 有序连接也会因倾斜耗尽内存 理解等级:高级 普通读书笔记卡

16 TiDB 源码阅读系列文章(十六)INSERT 语句详解

6 张卡片
  1. 插入变体选择冲突语义 理解等级:中级 普通读书笔记卡
  2. 延迟唯一检查改变报错时点 理解等级:高级 普通读书笔记卡
  3. 忽略冲突要求及时检测 理解等级:中级 普通读书笔记卡
  4. 冲突更新先取旧行 理解等级:中级 普通读书笔记卡
  5. 批内冲突检查要回填状态 理解等级:高级 普通读书笔记卡
  6. 替换语句可能删除多行 理解等级:高级 普通读书笔记卡

17 TiDB 源码阅读系列文章(十七)DDL 源码解析

5 张卡片
  1. DDL请求持久化为任务 理解等级:中级 普通读书笔记卡
  2. DDL所有权带租约切换 理解等级:中级 普通读书笔记卡
  3. 在线建索引分阶段发布 理解等级:中级 结构图卡
  4. 逻辑删除与物理回收分离 理解等级:中级 普通读书笔记卡
  5. 并行DDL仍需同表依赖 理解等级:高级 普通读书笔记卡

18 TiDB 源码阅读系列文章(十八)tikv-client(上)

6 张卡片
  1. Region缓存按两种方式查找 理解等级:中级 普通读书笔记卡
  2. 路由缓存必须由服务端校验 理解等级:中级 普通读书笔记卡
  3. 多路复用仍可能需要连接池 理解等级:高级 普通读书笔记卡
  4. 存储接口隔离真实RPC 理解等级:中级 普通读书笔记卡
  5. 路由错误与过载区别重试 理解等级:高级 普通读书笔记卡
  6. 子请求共享总退避预算 理解等级:中级 普通读书笔记卡

19 TiDB 源码阅读系列文章(十九)tikv-client(下)

9 张卡片
  1. 查询拆成Region任务 理解等级:中级 普通读书笔记卡
  2. 预取与并发解决不同等待 理解等级:中级 普通读书笔记卡
  3. 保序结果按任务通道消费 理解等级:中级 普通读书笔记卡
  4. 事务Primary不是表主键 理解等级:中级 普通读书笔记卡
  5. 锁TTL权衡恢复与执行时间 理解等级:高级 普通读书笔记卡
  6. 提交前验证时间与Schema 理解等级:中级 普通读书笔记卡
  7. 提交超时意味着结果未知 理解等级:高级 普通读书笔记卡
  8. 不同提交阶段的并行边界 理解等级:高级 普通读书笔记卡
  9. 事务状态分散到键上 理解等级:中级 普通读书笔记卡

20 TiDB 源码阅读系列文章(二十)Table Partition

7 张卡片
  1. 逻辑分区与物理表区分 理解等级:中级 普通读书笔记卡
  2. 分区类型对应不同映射 理解等级:中级 普通读书笔记卡
  3. 分区元信息附属逻辑表 理解等级:中级 普通读书笔记卡
  4. 分区裁剪排除无关扫描 理解等级:中级 普通读书笔记卡
  5. 分区ID承担物理命名 理解等级:中级 普通读书笔记卡
  6. 分区写入先计算归属 理解等级:中级 普通读书笔记卡
  7. 删分区会移除数据范围 理解等级:高级 普通读书笔记卡

21 TiDB 源码阅读系列文章(二十一)基于规则的优化 II

8 张卡片
  1. 唯一分组可消除聚合 理解等级:中级 普通读书笔记卡
  2. 外连接消除要保护重数 理解等级:高级 普通读书笔记卡
  3. 非相关子查询有两种路线 理解等级:高级 普通读书笔记卡
  4. 去相关释放连接算法选择 理解等级:中级 普通读书笔记卡
  5. 标量子查询限制不是截断 理解等级:高级 普通读书笔记卡
  6. 投影提升保留输出依赖 理解等级:中级 普通读书笔记卡
  7. 聚合提升需外行身份唯一 理解等级:高级 普通读书笔记卡
  8. 空集语义限制聚合提升 理解等级:高级 普通读书笔记卡

22 TiDB 源码阅读系列文章(二十二)Hash Aggregation

6 张卡片
  1. 哈希聚合保存每组状态 理解等级:中级 普通读书笔记卡
  2. 流式聚合可以按组返回 理解等级:中级 普通读书笔记卡
  3. 聚合模式描述状态流转 理解等级:中级 普通读书笔记卡
  4. 下推聚合要重写输入类型 理解等级:中级 普通读书笔记卡
  5. 并行聚合按组洗牌 理解等级:中级 结构图卡
  6. 聚合并行能力有版本限制 理解等级:高级 普通读书笔记卡

23 TiDB 源码阅读系列文章(二十三)Prepare/Execute 请求处理

8 张卡片
  1. 准备一次解析多次绑定 理解等级:中级 普通读书笔记卡
  2. 参数按文本位置建立映射 理解等级:中级 普通读书笔记卡
  3. Schema变化触发重新预处理 理解等级:中级 普通读书笔记卡
  4. 延迟释放兼顾事务重试 理解等级:中级 普通读书笔记卡
  5. 长参数追加与重置分离 理解等级:中级 普通读书笔记卡
  6. 游标把结果拉取权交给客户端 理解等级:中级 普通读书笔记卡
  7. 计划缓存键保护执行环境 理解等级:高级 普通读书笔记卡
  8. 命中计划仍要重建范围 理解等级:高级 普通读书笔记卡

24 TiDB 源码阅读系列文章(二十四)TiDB Binlog 源码解析

6 张卡片
  1. 行变更按事务累积顺序 理解等级:中级 普通读书笔记卡
  2. 预写日志确认是提交前置 理解等级:中级 普通读书笔记卡
  3. 异步完成标记需要反查状态 理解等级:高级 普通读书笔记卡
  4. DDL两层状态 理解等级:中级 普通读书笔记卡
  5. DDL日志对应最终状态事务 理解等级:高级 普通读书笔记卡
  6. 同一DDL任务可有多次日志 理解等级:高级 普通读书笔记卡

全书概览

《TiDB源码阅读系列文章》概览

Skill 版本:v23

执行模式:light

建档进度:done

作者:申砾(OPF);各篇可能另署投稿作者。

信息浓度:高。SQL 解析、代价推导、并发算子、统计维护及 DDL 状态转换均给出机制和设计原因。

稳定性/时效性:低。可迁移的关系运算和统计原理很多,但主线依赖早期源码路径、执行接口和功能限制,需按目标版本核对。

四象限结论:工程实践(高信息浓度、低稳定性)

主题:数据库/存储;总表优先级:P6。

整书笔记:_book_note.md(schema 1)。

理由:全文解释优化器的属性与统计推导、算子并发和恢复边界,信息浓度高;具体接口、约束与源码路径依赖早期实现,因此稳定性评为低。

章节进度追踪表

章节号 章节标题 状态(pending/done) 卡片数
01 TiDB 源码阅读系列文章(一)序 done 2
02 TiDB 源码阅读系列文章(二)初识 TiDB 源码 done 9
03 TiDB 源码阅读系列文章(三)SQL 的一生 done 6
04 TiDB 源码阅读系列文章(四)Insert 语句概览 done 4
05 TiDB 源码阅读系列文章(五)TiDB SQL Parser 的实现 done 8
06 TiDB 源码阅读系列文章(六)Select 语句概览 done 6
07 TiDB 源码阅读系列文章(七)基于规则的优化 done 8
08 TiDB 源码阅读系列文章(八)基于代价的优化 done 7
09 TiDB 源码阅读系列文章(九)Hash Join done 7
10 TiDB 源码阅读系列文章(十)Chunk 和执行框架简介 done 4
11 TiDB 源码阅读系列文章(十一)Index Lookup Join done 5
12 TiDB 源码阅读系列文章(十二)统计信息(上) done 11
13 TiDB 源码阅读系列文章(十三)索引范围计算简介 done 7
14 TiDB 源码阅读系列文章(十四)统计信息(下) done 5
15 TiDB 源码阅读系列文章(十五)Sort Merge Join done 3
16 TiDB 源码阅读系列文章(十六)INSERT 语句详解 done 6
17 TiDB 源码阅读系列文章(十七)DDL 源码解析 done 5
18 TiDB 源码阅读系列文章(十八)tikv-client(上) done 6
19 TiDB 源码阅读系列文章(十九)tikv-client(下) done 9
20 TiDB 源码阅读系列文章(二十)Table Partition done 7
21 TiDB 源码阅读系列文章(二十一)基于规则的优化 II done 8
22 TiDB 源码阅读系列文章(二十二)Hash Aggregation done 6
23 TiDB 源码阅读系列文章(二十三)Prepare/Execute 请求处理 done 8
24 TiDB 源码阅读系列文章(二十四)TiDB Binlog 源码解析 done 6

非正文排除

spine项 类型 排除理由
1 cover.xhtml 封面 仅书名,无实质讲解
2 Section0001.xhtml 空白页 仅空白实体,无正文

待关联术语

术语名 出现章节 一句话语境
Goroutine/Channel/Sync 01 先修 Go 并发知识,序篇未展开
RPC 01 先修后端通信知识
TSO 02 模块表仅指向时间戳服务接口与客户端
Performance Schema 02 仅列模块用途
X-Protocol 02 仅列协议实现模块
字典树 05 仅指出 lexer 的 token 识别使用此结构
CNF/DNF 07 在条件组合和 NULL 过滤分析中出现,本文仅保留组合语境
Apply 07 仅指出承接子查询,后章详解
多路归并/外存中间结果 15 仅列后续优化方向,未展开实现
LOAD DATA 16 本篇说明数据源不同并明确不展开实现
聚合下推/TopN下推/Join Reorder 21 结尾仅预告其他规则,未在此篇展开
SQL注入 23 仅保留参数值绑定的作用范围,未展开完整安全防护
protobuf 24 只说明 Binlog 编码格式,未展开序列化协议

| F1/Spanner | 01 | 仅作分布式数据库背景提名,未指定论文 | | Google F1 在线Schema变更 | 17 | 说明算法来源,未展开完整证明 |

引用文献

标题 类型(书/论文/框架/源码项目) 出现章节 一句话语境
MySQL 源码项目 01 举作可研究的单机数据库
PostgreSQL 源码项目 01 举作可研究的单机数据库
FoundationDB 源码项目 01 书中历史背景,开源状态不作当前结论
ANTLR 4 框架 05 与 Lex/Yacc 对照提名,未展开实现
MySQL参考手册 SQL Statement Syntax 书 05 用于对照 SELECT 语法
HBase Coprocessor 框架 06 仅说明名称借鉴来源
Apache Arrow 框架 10 作为列存实现参考,未展开协议或完整格式
Accurate estimation of the number of tuples satisfying a condition 论文 12 等深直方图来源
An improved data stream summary: The count-min sketch and its applications 论文 12 Count-Min Sketch 来源
New estimation algorithms for streaming data: Count-min can do more 论文 12 去噪估计参考
Synopses for Massive Data: Samples, Histograms, Wavelets, Sketches 书 12 数据摘要的延伸阅读
TiDB 的异步 schema 变更实现 文章 17 原文延伸文章,类型栏沿用文献登记类别
TiDB 的异步 schema 变更优化 文章 17 原文延伸文章
Google Percolator 论文 19 文中说明事务状态分布在键上以弱化集中事务管理器;完整协议未展开

资金安全问题案例

问题标题 问题卡 解决方案卡(如有) 出现章节 一句话说明

无:本书未展开资金、余额、库存的具体正确性事故,不把一般 DDL/事务机制改造成资金案例。

实践卡进度

序号 实践标题 实践方式 状态(pending/done) 关联章节 产出
1 优化器到执行器深读 实现深读 done 06、08、09、22 idea-001-优化器到执行器深读.md;首轮源码映射已备
2 Region任务与保序深读 实现深读 done 18、19 idea-002-Region任务与保序深读.md;首轮源码映射已备
3 提交未知结果深读 实现深读 done 16、19、24 idea-003-提交未知结果深读.md;首轮源码映射已备

实践候选筛选:done

采用三个互补方向:计划与执行、Region 任务、事务提交。未另建从零实现、泛化性能实验及当前生产调参卡:成熟实现已经提供可读入口,尚无必须执行实验才能回答的具体问题。实践仅交付计划和首轮资料,未执行完整实践。

生成状态

已完成 24⁄24 正文项,知识卡 153 张。轻量模式:未执行笔记复核、独立审查及审查结果优化。

来源限制与版本

全文 24 篇已读,两个非正文页排除;图片资源错配与笔误处理见 _source_limits.md。保留 P2 后续:必要时用正确原版恢复缺失插图。

整书笔记 schema:1;字节 SHA-256:ca79da1afecb6ca95af639d1136c076f7cbf73de71370db62e453b6bf2ce73db。来源版本见 _source_manifest.json。

相关主题

从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。

暂无公开主题。