知识卡片
聚合并行能力有版本限制
书中含 DISTINCT 的 HashAgg 尚不能并行,因为未支持对应 DedupMode;部分与最终并发都为 1 时也走单线程。这是当时的实现边界,不能据此断言当前版本限制,更不能从一条 TPC-H 测试外推所有负载同倍提速。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 8 处
- TiDB 源码阅读系列文章(二十二)Hash Aggregation · 查看原书依据
构建 HashAgg 执行器时,首先检查当前 HashAgg 算子是否可以并行执行。目前当且仅当两种情况下 HashAgg 不可以并行执行:
- TiDB 源码阅读系列文章(二十二)Hash Aggregation · 查看原书依据
存在某个聚合函数参数为 DISTINCT 时。TiDB 暂未实现对 DedupMode 的支持,因此对于含有 DISTINCT 的情况目前仅能单线程执行。
- TiDB 源码阅读系列文章(二十二)Hash Aggregation · 查看原书依据
系统变量 tidb_hashagg_partial_concurrency 和 tidb_hashagg_final_concurrency 被同时设置为 1 时。这两个系统变量分别用来控制 Hash Aggregation 并行计算时候,TiDB 层聚合计算 partial 和 fina
- TiDB 源码阅读系列文章(二十二)Hash Aggregation · 查看原书依据
若 HashAgg 算子可以并行执行,使用 AggFuncDesc.Split 根据 AggFuncDesc.Mode 将 TiDB 层的聚合算子的计算拆分为 partial 和 final 两个阶段,并分别生成对应的 AggFuncDesc,设为 partialAggDesc 和 fin
- TiDB 源码阅读系列文章(二十二)Hash Aggregation · 查看原书依据
查询总执行时间 23 分 24 秒,其中 HashAgg 执行时间约 17 分 9 秒。
- TiDB 源码阅读系列文章(二十二)Hash Aggregation · 查看原书依据
HashAgg 并行计算时(此时 TiDB 层 Partial 和 Final 阶段的 worker 数量都设置为 16):
- TiDB 源码阅读系列文章(二十二)Hash Aggregation · 查看原书依据
总查询时间 8 分 37 秒,其中 HashAgg 执行时间约 1 分 4 秒。
- TiDB 源码阅读系列文章(二十二)Hash Aggregation · 查看原书依据
并行计算时,Hash Aggregation 的计算速度提升约 16 倍。