← 返回刚才阅读的位置

知识卡片

结构图卡 · 2281.m.2.d.4

并行聚合按组洗牌

理解等级:中级

Fetcher 分批给 Partial Worker,先各自做局部聚合,再按 Group Key 把同组状态送到同一 Final Worker 合并。只有把同一组收齐到正确位置,局部结果才能成为全局结果;并行不是把最终值随意拼接。

关联:[[下推聚合要重写输入类型]]从相邻机制说明这一边界。

结构图:

flowchart TD
 A[Fetcher分批读取] --> B[多个Partial局部聚合]
 B --> C[按Group Key分发]
 C --> D[对应Final合并]
 D --> E[主线程返回结果]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 6 处

    参考来源

    - 位置:《TiDB源码阅读系列文章》第22章《TiDB 源码阅读系列文章(二十二)Hash Aggregation》(来源项目:book-sources;源文件:extracted/TiDB源码阅读系列文章/_epub-src/OEBPS/Text/TiDB 源码阅读系列文章(二十二)Hash Aggregation.html;阅读段落 74,75,76,77,86,88;均为书中版本) - 结论依据:原文对并行聚合按组洗牌给出上述机制或边界;本卡把已读说明整理为可独立理解的解释。 - 原始内容:Partial Worker 多个: 读取 Data Fetcher 发送来的数据,并做预聚合 将预聚合结果根据 Group 值 shuffle 给对应的 Final Worker …… 读取 Data Fetcher 发送来的数据,并做预聚合 …… 将预聚合结果根据 Group 值 shuffle 给对应的 Final Worker …… Final Worker 多个: 读取 PartialWorker 发送来的数据,计算最终结果,发送给 Main Thread …… 这部分工作由 HashAggPartialWorker.run 函数完成。该函数调用 updatePartialResult 函数对 DataFetcher 发来数据执行 预聚合计算,并将预聚合结果存储到 partialResultMap 中。其中 partialResultMap 的 k …… 这部分工作由 HashAggFinalWorker.run 函数完成。该函数调用 consumeIntermData 函数 接收 PartialWorkers 发送来的预聚合结果,进而 合并 得到最终结果。getFinalResult 函数完成发送最终结果给 Main Thread。