知识卡片
聚合模式描述状态流转
Complete 从原始数据算最终值,Partial1 从原始数据产中间状态,Partial2 继续合并中间状态,Final 产最终值,Dedup 产去重原始值。跨阶段必须一致解释状态,AVG 应合并和与计数,而非平均各批均值。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 9 处
- TiDB 源码阅读系列文章(二十二)Hash Aggregation · 查看原书依据
由于分布式计算的需要,TiDB 对于聚合函数的计算阶段进行划分,相应定义了 5 种计算模式:CompleteMode,FinalMode,Partial1Mode,Partial2Mode,DedupMode。不同的计算模式下,所处理的输入值和输出值会有所差异,如下表所示:
- TiDB 源码阅读系列文章(二十二)Hash Aggregation · 查看原书依据
CompleteMode 原始数据 最终结果
- TiDB 源码阅读系列文章(二十二)Hash Aggregation · 查看原书依据
FinalMode 中间结果 最终结果
- TiDB 源码阅读系列文章(二十二)Hash Aggregation · 查看原书依据
Partial1Mode 原始数据 中间结果
- TiDB 源码阅读系列文章(二十二)Hash Aggregation · 查看原书依据
Partial2Mode 中间结果 进一步聚合的中间结果
- TiDB 源码阅读系列文章(二十二)Hash Aggregation · 查看原书依据
DedupMode 原始数据 去重后的原始数据
- TiDB 源码阅读系列文章(二十二)Hash Aggregation · 查看原书依据
Partial1Mode –> FinalMode
- TiDB 源码阅读系列文章(二十二)Hash Aggregation · 查看原书依据
聚合被下推到 TiKV 上进行计算(Partial1Mode),并返回经过预聚合的中间结果。为了充分利用 TiDB server 所在机器的 CPU 和内存资源,加快 TiDB 层的聚合计算,TiDB 层的聚合函数计算可以这样进行:Partial2Mode –> FinalMode。
- TiDB 源码阅读系列文章(二十二)Hash Aggregation · 查看原书依据
当聚合函数需要对参数进行去重,也就是包含 DISTINCT 属性,且聚合算子因为一些原因不能下推到 TiKV 时,TiDB 层的聚合函数计算可以这样进行:DedupMode –> Partial1Mode –> FinalMode。
参考来源
- 位置:《TiDB源码阅读系列文章》第22章《TiDB 源码阅读系列文章(二十二)Hash Aggregation》(来源项目:book-sources;源文件:extracted/TiDB源码阅读系列文章/_epub-src/OEBPS/Text/TiDB 源码阅读系列文章(二十二)Hash Aggregation.html;阅读段落 41,43,44,45,46,47,52,56,57;均为书中版本)
- 结论依据:原文对聚合模式描述状态流转给出上述机制或边界;本卡把已读说明整理为可独立理解的解释。
- 原始内容:由于分布式计算的需要,TiDB 对于聚合函数的计算阶段进行划分,相应定义了 5 种计算模式:CompleteMode,FinalMode,Partial1Mode,Partial2Mode,DedupMode。不同的计算模式下,所处理的输入值和输出值会有所差异,如下表所示: …… CompleteMode 原始数据 最终结果 …… FinalMode 中间结果 最终结果 …… Partial1Mode 原始数据 中间结果 …… Partial2Mode 中间结果 进一步聚合的中间结果 …… DedupMode 原始数据 去重后的原始数据 …… Partial1Mode –> FinalMode …… 聚合被下推到 TiKV 上进行计算(Partial1Mode),并返回经过预聚合的中间结果。为了充分利用 TiDB server 所在机器的 CPU 和内存资源,加快 TiDB 层的聚合计算,TiDB 层的聚合函数计算可以这样进行:Partial2Mode –> FinalMode。 …… 当聚合函数需要对参数进行去重,也就是包含 DISTINCT 属性,且聚合算子因为一些原因不能下推到 TiKV 时,TiDB 层的聚合函数计算可以这样进行:DedupMode –> Partial1Mode –> FinalMode。