← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 2281.m.2.d.5

聚合并行能力有版本限制

理解等级:高级

书中含 DISTINCT 的 HashAgg 尚不能并行,因为未支持对应 DedupMode;部分与最终并发都为 1 时也走单线程。这是当时的实现边界,不能据此断言当前版本限制,更不能从一条 TPC-H 测试外推所有负载同倍提速。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 8 处

    参考来源

    - 位置:《TiDB源码阅读系列文章》第22章《TiDB 源码阅读系列文章(二十二)Hash Aggregation》(来源项目:book-sources;源文件:extracted/TiDB源码阅读系列文章/_epub-src/OEBPS/Text/TiDB 源码阅读系列文章(二十二)Hash Aggregation.html;阅读段落 63,64,65,66,97,98,100,101;均为书中版本) - 结论依据:原文对聚合并行能力有版本限制给出上述机制或边界;本卡把已读说明整理为可独立理解的解释。 - 原始内容:构建 HashAgg 执行器时,首先检查当前 HashAgg 算子是否可以并行执行。目前当且仅当两种情况下 HashAgg 不可以并行执行: …… 存在某个聚合函数参数为 DISTINCT 时。TiDB 暂未实现对 DedupMode 的支持,因此对于含有 DISTINCT 的情况目前仅能单线程执行。 …… 系统变量 tidb_hashagg_partial_concurrency 和 tidb_hashagg_final_concurrency 被同时设置为 1 时。这两个系统变量分别用来控制 Hash Aggregation 并行计算时候,TiDB 层聚合计算 partial 和 fina …… 若 HashAgg 算子可以并行执行,使用 AggFuncDesc.Split 根据 AggFuncDesc.Mode 将 TiDB 层的聚合算子的计算拆分为 partial 和 final 两个阶段,并分别生成对应的 AggFuncDesc,设为 partialAggDesc 和 fin …… 查询总执行时间 23 分 24 秒,其中 HashAgg 执行时间约 17 分 9 秒。 …… HashAgg 并行计算时(此时 TiDB 层 Partial 和 Final 阶段的 worker 数量都设置为 16): …… 总查询时间 8 分 37 秒,其中 HashAgg 执行时间约 1 分 4 秒。 …… 并行计算时,Hash Aggregation 的计算速度提升约 16 倍。