来源书籍
TiDB源码阅读系列文章
全文解释优化器的属性与统计推导、算子并发和恢复边界,信息浓度高;具体接口、约束与源码路径依赖早期实现,因此稳定性评为低。
章节与卡片
01 TiDB 源码阅读系列文章(一)序
2 张卡片
- 源码阅读的验证闭环 理解等级:中级 普通读书笔记卡
- SQL服务的阅读边界 理解等级:中级 普通读书笔记卡
02 TiDB 源码阅读系列文章(二)初识 TiDB 源码
9 张卡片
- SQL引擎的三层职责 理解等级:中级 结构图卡
- 按问题选择源码入口 理解等级:中级 普通读书笔记卡
- 事务KV与计算下推 理解等级:中级 普通读书笔记卡
- 元信息的分层存放 理解等级:中级 普通读书笔记卡
- 共享上下文与域 理解等级:中级 普通读书笔记卡
- 关系数据的KV编码 理解等级:中级 普通读书笔记卡
- 集群任务的唯一执行者 理解等级:中级 普通读书笔记卡
- 全局标识区分元数据对象 理解等级:中级 普通读书笔记卡
- 表达式与类型分工 理解等级:中级 普通读书笔记卡
03 TiDB 源码阅读系列文章(三)SQL 的一生
6 张卡片
- 命令分发到会话执行 理解等级:中级 普通读书笔记卡
- 声明式SQL需要补算法 理解等级:中级 普通读书笔记卡
- AST与计划的区别 理解等级:中级 普通读书笔记卡
- 结果集是惰性读取接口 理解等级:中级 普通读书笔记卡
- 火山模型的拉取驱动 理解等级:中级 结构图卡
- 查询与写语句驱动时机 理解等级:中级 普通读书笔记卡
04 TiDB 源码阅读系列文章(四)Insert 语句概览
4 张卡片
- 插入计划补全写入语义 理解等级:中级 普通读书笔记卡
- 简单插入绕过逻辑优化 理解等级:中级 普通读书笔记卡
- 写入缓存与提交分离 理解等级:中级 普通读书笔记卡
- 索引KV的定位作用 理解等级:中级 普通读书笔记卡
05 TiDB 源码阅读系列文章(五)TiDB SQL Parser 的实现
8 张卡片
- 词法与语法分析分工 理解等级:中级 普通读书笔记卡
- 移进归约的工作方式 理解等级:中级 普通读书笔记卡
- 产生式动作构建AST 理解等级:中级 普通读书笔记卡
- 语义值承载解析结果 理解等级:中级 普通读书笔记卡
- Scanner满足词法接口 理解等级:中级 结构图卡
- Visitor分离遍历处理 理解等级:中级 结构图卡
- 语法规则与语义处理分界 理解等级:中级 普通读书笔记卡
- 终结符与非终结符 理解等级:中级 普通读书笔记卡
06 TiDB 源码阅读系列文章(六)Select 语句概览
6 张卡片
- 逻辑与物理优化分工 理解等级:中级 普通读书笔记卡
- 按属性搜索物理计划 理解等级:中级 普通读书笔记卡
- 根任务与下推任务 理解等级:中级 普通读书笔记卡
- 表达式下推有能力边界 理解等级:中级 普通读书笔记卡
- Region级分布式查询 理解等级:中级 普通读书笔记卡
- DistSQL隔离分布式细节 理解等级:中级 普通读书笔记卡
07 TiDB 源码阅读系列文章(七)基于规则的优化
8 张卡片
- 关系算子的基本职责 理解等级:中级 普通读书笔记卡
- 列裁剪保留隐含依赖 理解等级:中级 普通读书笔记卡
- 极值改写依赖有序访问 理解等级:高级 普通读书笔记卡
- 冗余投影可以消除 理解等级:中级 普通读书笔记卡
- 谓词下推保留剩余条件 理解等级:中级 普通读书笔记卡
- 空值拒绝约束外连接改写 理解等级:高级 普通读书笔记卡
- 过滤不能任意跨越限额 理解等级:高级 普通读书笔记卡
- 唯一键属性辅助优化 理解等级:中级 普通读书笔记卡
08 TiDB 源码阅读系列文章(八)基于代价的优化
7 张卡片
- 所需属性约束候选计划 理解等级:中级 普通读书笔记卡
- 按属性记忆化搜索 理解等级:中级 普通读书笔记卡
- 统计信息估算输出规模 理解等级:高级 普通读书笔记卡
- 期望行数影响提前停止 理解等级:高级 普通读书笔记卡
- 双读成本不能过早裁掉 理解等级:高级 普通读书笔记卡
- 属性剪枝减少排列爆炸 理解等级:中级 普通读书笔记卡
- 连接基数估计依赖分布假设 理解等级:高级 普通读书笔记卡
09 TiDB 源码阅读系列文章(九)Hash Join
7 张卡片
- 哈希连接的构建与探测 理解等级:中级 普通读书笔记卡
- 重复连接键需要多值映射 理解等级:中级 普通读书笔记卡
- 探测任务与Chunk回收 理解等级:中级 结构图卡
- 结果传递交换复用内存 理解等级:中级 普通读书笔记卡
- 连接条件分层计算 理解等级:中级 普通读书笔记卡
- 普通等值连接不匹配空键 理解等级:中级 普通读书笔记卡
- 连接类型决定输出形态 理解等级:中级 普通读书笔记卡
10 TiDB 源码阅读系列文章(十)Chunk 和执行框架简介
4 张卡片
- 列式Chunk压缩对象开销 理解等级:中级 普通读书笔记卡
- 定长与变长列的定位 理解等级:中级 普通读书笔记卡
- 行视图无需复制整行 理解等级:中级 普通读书笔记卡
- 批处理的收益与代价 理解等级:高级 普通读书笔记卡
11 TiDB 源码阅读系列文章(十一)Index Lookup Join
5 张卡片
- 嵌套循环到索引连接 理解等级:中级 普通读书笔记卡
- 并行取数按任务保序 理解等级:中级 普通读书笔记卡
- 自适应批次平衡开销 理解等级:高级 普通读书笔记卡
- 过滤位图避免复制行 理解等级:中级 普通读书笔记卡
- 查询键去重保留结果重数 理解等级:中级 普通读书笔记卡
12 TiDB 源码阅读系列文章(十二)统计信息(上)
11 张卡片
- 统计摘要替代穷举执行 理解等级:中级 普通读书笔记卡
- 等深直方图描述分布 理解等级:高级 普通读书笔记卡
- 最小计数Sketch估频 理解等级:高级 普通读书笔记卡
- 去噪Sketch改变误差界 理解等级:高级 普通读书笔记卡
- 蓄水池均匀抽样 理解等级:中级 普通读书笔记卡
- 重复值不跨直方桶 理解等级:中级 普通读书笔记卡
- 有序索引在线建桶 理解等级:中级 普通读书笔记卡
- 反馈按桶定位误差 理解等级:中级 普通读书笔记卡
- 桶边界随查询热点调整 理解等级:中级 普通读书笔记卡
- 多列估计减少独立假设 理解等级:高级 普通读书笔记卡
- 查询反馈校正频次与桶高 理解等级:高级 普通读书笔记卡
13 TiDB 源码阅读系列文章(十三)索引范围计算简介
7 张卡片
- 访问条件与残余过滤 理解等级:中级 普通读书笔记卡
- 或条件范围必须覆盖分支 理解等级:高级 普通读书笔记卡
- 组合索引按前缀收紧 理解等级:中级 普通读书笔记卡
- 表达式形状影响范围识别 理解等级:高级 普通读书笔记卡
- 端点扫描计算区间交并 理解等级:中级 普通读书笔记卡
- 组合范围的字典序展开 理解等级:中级 普通读书笔记卡
- 函数包列限制索引提取 理解等级:高级 普通读书笔记卡
14 TiDB 源码阅读系列文章(十四)统计信息(下)
5 张卡片
- 统计表示复用列式存储 理解等级:中级 普通读书笔记卡
- 反馈范围映射跨越Region 理解等级:中级 普通读书笔记卡
- 分裂预算与低误差合并 理解等级:中级 普通读书笔记卡
- 条件覆盖优先选择索引 理解等级:高级 普通读书笔记卡
- 平均分摊误差会失真 理解等级:高级 普通读书笔记卡
15 TiDB 源码阅读系列文章(十五)Sort Merge Join
3 张卡片
- 归并连接利用有序输入 理解等级:中级 普通读书笔记卡
- 同键组必须保留全部组合 理解等级:高级 普通读书笔记卡
- 有序连接也会因倾斜耗尽内存 理解等级:高级 普通读书笔记卡
16 TiDB 源码阅读系列文章(十六)INSERT 语句详解
6 张卡片
- 插入变体选择冲突语义 理解等级:中级 普通读书笔记卡
- 延迟唯一检查改变报错时点 理解等级:高级 普通读书笔记卡
- 忽略冲突要求及时检测 理解等级:中级 普通读书笔记卡
- 冲突更新先取旧行 理解等级:中级 普通读书笔记卡
- 批内冲突检查要回填状态 理解等级:高级 普通读书笔记卡
- 替换语句可能删除多行 理解等级:高级 普通读书笔记卡
17 TiDB 源码阅读系列文章(十七)DDL 源码解析
5 张卡片
- DDL请求持久化为任务 理解等级:中级 普通读书笔记卡
- DDL所有权带租约切换 理解等级:中级 普通读书笔记卡
- 在线建索引分阶段发布 理解等级:中级 结构图卡
- 逻辑删除与物理回收分离 理解等级:中级 普通读书笔记卡
- 并行DDL仍需同表依赖 理解等级:高级 普通读书笔记卡
18 TiDB 源码阅读系列文章(十八)tikv-client(上)
6 张卡片
- Region缓存按两种方式查找 理解等级:中级 普通读书笔记卡
- 路由缓存必须由服务端校验 理解等级:中级 普通读书笔记卡
- 多路复用仍可能需要连接池 理解等级:高级 普通读书笔记卡
- 存储接口隔离真实RPC 理解等级:中级 普通读书笔记卡
- 路由错误与过载区别重试 理解等级:高级 普通读书笔记卡
- 子请求共享总退避预算 理解等级:中级 普通读书笔记卡
19 TiDB 源码阅读系列文章(十九)tikv-client(下)
9 张卡片
- 查询拆成Region任务 理解等级:中级 普通读书笔记卡
- 预取与并发解决不同等待 理解等级:中级 普通读书笔记卡
- 保序结果按任务通道消费 理解等级:中级 普通读书笔记卡
- 事务Primary不是表主键 理解等级:中级 普通读书笔记卡
- 锁TTL权衡恢复与执行时间 理解等级:高级 普通读书笔记卡
- 提交前验证时间与Schema 理解等级:中级 普通读书笔记卡
- 提交超时意味着结果未知 理解等级:高级 普通读书笔记卡
- 不同提交阶段的并行边界 理解等级:高级 普通读书笔记卡
- 事务状态分散到键上 理解等级:中级 普通读书笔记卡
20 TiDB 源码阅读系列文章(二十)Table Partition
7 张卡片
- 逻辑分区与物理表区分 理解等级:中级 普通读书笔记卡
- 分区类型对应不同映射 理解等级:中级 普通读书笔记卡
- 分区元信息附属逻辑表 理解等级:中级 普通读书笔记卡
- 分区裁剪排除无关扫描 理解等级:中级 普通读书笔记卡
- 分区ID承担物理命名 理解等级:中级 普通读书笔记卡
- 分区写入先计算归属 理解等级:中级 普通读书笔记卡
- 删分区会移除数据范围 理解等级:高级 普通读书笔记卡
21 TiDB 源码阅读系列文章(二十一)基于规则的优化 II
8 张卡片
- 唯一分组可消除聚合 理解等级:中级 普通读书笔记卡
- 外连接消除要保护重数 理解等级:高级 普通读书笔记卡
- 非相关子查询有两种路线 理解等级:高级 普通读书笔记卡
- 去相关释放连接算法选择 理解等级:中级 普通读书笔记卡
- 标量子查询限制不是截断 理解等级:高级 普通读书笔记卡
- 投影提升保留输出依赖 理解等级:中级 普通读书笔记卡
- 聚合提升需外行身份唯一 理解等级:高级 普通读书笔记卡
- 空集语义限制聚合提升 理解等级:高级 普通读书笔记卡
22 TiDB 源码阅读系列文章(二十二)Hash Aggregation
6 张卡片
- 哈希聚合保存每组状态 理解等级:中级 普通读书笔记卡
- 流式聚合可以按组返回 理解等级:中级 普通读书笔记卡
- 聚合模式描述状态流转 理解等级:中级 普通读书笔记卡
- 下推聚合要重写输入类型 理解等级:中级 普通读书笔记卡
- 并行聚合按组洗牌 理解等级:中级 结构图卡
- 聚合并行能力有版本限制 理解等级:高级 普通读书笔记卡
23 TiDB 源码阅读系列文章(二十三)Prepare/Execute 请求处理
8 张卡片
- 准备一次解析多次绑定 理解等级:中级 普通读书笔记卡
- 参数按文本位置建立映射 理解等级:中级 普通读书笔记卡
- Schema变化触发重新预处理 理解等级:中级 普通读书笔记卡
- 延迟释放兼顾事务重试 理解等级:中级 普通读书笔记卡
- 长参数追加与重置分离 理解等级:中级 普通读书笔记卡
- 游标把结果拉取权交给客户端 理解等级:中级 普通读书笔记卡
- 计划缓存键保护执行环境 理解等级:高级 普通读书笔记卡
- 命中计划仍要重建范围 理解等级:高级 普通读书笔记卡
24 TiDB 源码阅读系列文章(二十四)TiDB Binlog 源码解析
6 张卡片
- 行变更按事务累积顺序 理解等级:中级 普通读书笔记卡
- 预写日志确认是提交前置 理解等级:中级 普通读书笔记卡
- 异步完成标记需要反查状态 理解等级:高级 普通读书笔记卡
- DDL两层状态 理解等级:中级 普通读书笔记卡
- DDL日志对应最终状态事务 理解等级:高级 普通读书笔记卡
- 同一DDL任务可有多次日志 理解等级:高级 普通读书笔记卡
全书概览
《TiDB源码阅读系列文章》概览
Skill 版本:v23
执行模式:light
建档进度:done
作者:申砾(OPF);各篇可能另署投稿作者。
信息浓度:高。SQL 解析、代价推导、并发算子、统计维护及 DDL 状态转换均给出机制和设计原因。
稳定性/时效性:低。可迁移的关系运算和统计原理很多,但主线依赖早期源码路径、执行接口和功能限制,需按目标版本核对。
四象限结论:工程实践(高信息浓度、低稳定性)
主题:数据库/存储;总表优先级:P6。
整书笔记:_book_note.md(schema 1)。
理由:全文解释优化器的属性与统计推导、算子并发和恢复边界,信息浓度高;具体接口、约束与源码路径依赖早期实现,因此稳定性评为低。
章节进度追踪表
| 章节号 | 章节标题 | 状态(pending/done) | 卡片数 |
|---|---|---|---|
| 01 | TiDB 源码阅读系列文章(一)序 | done | 2 |
| 02 | TiDB 源码阅读系列文章(二)初识 TiDB 源码 | done | 9 |
| 03 | TiDB 源码阅读系列文章(三)SQL 的一生 | done | 6 |
| 04 | TiDB 源码阅读系列文章(四)Insert 语句概览 | done | 4 |
| 05 | TiDB 源码阅读系列文章(五)TiDB SQL Parser 的实现 | done | 8 |
| 06 | TiDB 源码阅读系列文章(六)Select 语句概览 | done | 6 |
| 07 | TiDB 源码阅读系列文章(七)基于规则的优化 | done | 8 |
| 08 | TiDB 源码阅读系列文章(八)基于代价的优化 | done | 7 |
| 09 | TiDB 源码阅读系列文章(九)Hash Join | done | 7 |
| 10 | TiDB 源码阅读系列文章(十)Chunk 和执行框架简介 | done | 4 |
| 11 | TiDB 源码阅读系列文章(十一)Index Lookup Join | done | 5 |
| 12 | TiDB 源码阅读系列文章(十二)统计信息(上) | done | 11 |
| 13 | TiDB 源码阅读系列文章(十三)索引范围计算简介 | done | 7 |
| 14 | TiDB 源码阅读系列文章(十四)统计信息(下) | done | 5 |
| 15 | TiDB 源码阅读系列文章(十五)Sort Merge Join | done | 3 |
| 16 | TiDB 源码阅读系列文章(十六)INSERT 语句详解 | done | 6 |
| 17 | TiDB 源码阅读系列文章(十七)DDL 源码解析 | done | 5 |
| 18 | TiDB 源码阅读系列文章(十八)tikv-client(上) | done | 6 |
| 19 | TiDB 源码阅读系列文章(十九)tikv-client(下) | done | 9 |
| 20 | TiDB 源码阅读系列文章(二十)Table Partition | done | 7 |
| 21 | TiDB 源码阅读系列文章(二十一)基于规则的优化 II | done | 8 |
| 22 | TiDB 源码阅读系列文章(二十二)Hash Aggregation | done | 6 |
| 23 | TiDB 源码阅读系列文章(二十三)Prepare/Execute 请求处理 | done | 8 |
| 24 | TiDB 源码阅读系列文章(二十四)TiDB Binlog 源码解析 | done | 6 |
非正文排除
| spine项 | 类型 | 排除理由 |
|---|---|---|
| 1 cover.xhtml | 封面 | 仅书名,无实质讲解 |
| 2 Section0001.xhtml | 空白页 | 仅空白实体,无正文 |
待关联术语
| 术语名 | 出现章节 | 一句话语境 |
|---|---|---|
| Goroutine/Channel/Sync | 01 | 先修 Go 并发知识,序篇未展开 |
| RPC | 01 | 先修后端通信知识 |
| TSO | 02 | 模块表仅指向时间戳服务接口与客户端 |
| Performance Schema | 02 | 仅列模块用途 |
| X-Protocol | 02 | 仅列协议实现模块 |
| 字典树 | 05 | 仅指出 lexer 的 token 识别使用此结构 |
| CNF/DNF | 07 | 在条件组合和 NULL 过滤分析中出现,本文仅保留组合语境 |
| Apply | 07 | 仅指出承接子查询,后章详解 |
| 多路归并/外存中间结果 | 15 | 仅列后续优化方向,未展开实现 |
| LOAD DATA | 16 | 本篇说明数据源不同并明确不展开实现 |
| 聚合下推/TopN下推/Join Reorder | 21 | 结尾仅预告其他规则,未在此篇展开 |
| SQL注入 | 23 | 仅保留参数值绑定的作用范围,未展开完整安全防护 |
| protobuf | 24 | 只说明 Binlog 编码格式,未展开序列化协议 |
| F1/Spanner | 01 | 仅作分布式数据库背景提名,未指定论文 | | Google F1 在线Schema变更 | 17 | 说明算法来源,未展开完整证明 |
引用文献
| 标题 | 类型(书/论文/框架/源码项目) | 出现章节 | 一句话语境 |
|---|---|---|---|
| MySQL | 源码项目 | 01 | 举作可研究的单机数据库 |
| PostgreSQL | 源码项目 | 01 | 举作可研究的单机数据库 |
| FoundationDB | 源码项目 | 01 | 书中历史背景,开源状态不作当前结论 |
| ANTLR 4 | 框架 | 05 | 与 Lex/Yacc 对照提名,未展开实现 |
| MySQL参考手册 SQL Statement Syntax | 书 | 05 | 用于对照 SELECT 语法 |
| HBase Coprocessor | 框架 | 06 | 仅说明名称借鉴来源 |
| Apache Arrow | 框架 | 10 | 作为列存实现参考,未展开协议或完整格式 |
| Accurate estimation of the number of tuples satisfying a condition | 论文 | 12 | 等深直方图来源 |
| An improved data stream summary: The count-min sketch and its applications | 论文 | 12 | Count-Min Sketch 来源 |
| New estimation algorithms for streaming data: Count-min can do more | 论文 | 12 | 去噪估计参考 |
| Synopses for Massive Data: Samples, Histograms, Wavelets, Sketches | 书 | 12 | 数据摘要的延伸阅读 |
| TiDB 的异步 schema 变更实现 | 文章 | 17 | 原文延伸文章,类型栏沿用文献登记类别 |
| TiDB 的异步 schema 变更优化 | 文章 | 17 | 原文延伸文章 |
| Google Percolator | 论文 | 19 | 文中说明事务状态分布在键上以弱化集中事务管理器;完整协议未展开 |
资金安全问题案例
| 问题标题 | 问题卡 | 解决方案卡(如有) | 出现章节 | 一句话说明 |
|---|
无:本书未展开资金、余额、库存的具体正确性事故,不把一般 DDL/事务机制改造成资金案例。
实践卡进度
| 序号 | 实践标题 | 实践方式 | 状态(pending/done) | 关联章节 | 产出 |
|---|---|---|---|---|---|
| 1 | 优化器到执行器深读 | 实现深读 | done | 06、08、09、22 | idea-001-优化器到执行器深读.md;首轮源码映射已备 |
| 2 | Region任务与保序深读 | 实现深读 | done | 18、19 | idea-002-Region任务与保序深读.md;首轮源码映射已备 |
| 3 | 提交未知结果深读 | 实现深读 | done | 16、19、24 | idea-003-提交未知结果深读.md;首轮源码映射已备 |
实践候选筛选:done
采用三个互补方向:计划与执行、Region 任务、事务提交。未另建从零实现、泛化性能实验及当前生产调参卡:成熟实现已经提供可读入口,尚无必须执行实验才能回答的具体问题。实践仅交付计划和首轮资料,未执行完整实践。
生成状态
已完成 24⁄24 正文项,知识卡 153 张。轻量模式:未执行笔记复核、独立审查及审查结果优化。
来源限制与版本
全文 24 篇已读,两个非正文页排除;图片资源错配与笔误处理见 _source_limits.md。保留 P2 后续:必要时用正确原版恢复缺失插图。
整书笔记 schema:1;字节 SHA-256:ca79da1afecb6ca95af639d1136c076f7cbf73de71370db62e453b6bf2ce73db。来源版本见 _source_manifest.json。
相关主题
从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。
暂无公开主题。