知识卡片
流式聚合可以按组返回
输入必须按分组键有序,使同组行连续。读到下一组时即可结束并返回上一组;上层 LIMIT 若只需若干组,可避免继续读取,但若先要全量排序,则排序成本仍不可免。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 3 处
- TiDB 源码阅读系列文章(二十二)Hash Aggregation · 查看原书依据
Stream Aggregate 的计算需要保证输入数据按照 Group-By 列有序。在计算过程中,每当读到一个新的 Group 的值或所有数据输入完成时,便对前一个 Group 的聚合最终结果进行计算。
- TiDB 源码阅读系列文章(二十二)Hash Aggregation · 查看原书依据
因为 Stream Aggregate 的输入数据需要保证同一个 Group 的数据连续输入,所以 Stream Aggregate 处理完一个 Group 的数据后可以立刻向上返回结果,不用像 Hash Aggregate 一样需要处理完所有数据后才能正确的对外返回结果。当上层算子只需要
- TiDB 源码阅读系列文章(二十二)Hash Aggregation · 查看原书依据
当 Group-By 列上存在索引时,由索引读入数据可以保证输入数据按照 Group-By 列有序,此时同一个 Group 的数据连续输入 Stream Aggregate 算子,可以避免额外的排序操作。
参考来源
- 位置:《TiDB源码阅读系列文章》第22章《TiDB 源码阅读系列文章(二十二)Hash Aggregation》(来源项目:book-sources;源文件:extracted/TiDB源码阅读系列文章/_epub-src/OEBPS/Text/TiDB 源码阅读系列文章(二十二)Hash Aggregation.html;阅读段落 28,38,39;均为书中版本)
- 结论依据:原文对流式聚合可以按组返回给出上述机制或边界;本卡把已读说明整理为可独立理解的解释。
- 原始内容:Stream Aggregate 的计算需要保证输入数据按照 Group-By 列有序。在计算过程中,每当读到一个新的 Group 的值或所有数据输入完成时,便对前一个 Group 的聚合最终结果进行计算。 …… 因为 Stream Aggregate 的输入数据需要保证同一个 Group 的数据连续输入,所以 Stream Aggregate 处理完一个 Group 的数据后可以立刻向上返回结果,不用像 Hash Aggregate 一样需要处理完所有数据后才能正确的对外返回结果。当上层算子只需要 …… 当 Group-By 列上存在索引时,由索引读入数据可以保证输入数据按照 Group-By 列有序,此时同一个 Group 的数据连续输入 Stream Aggregate 算子,可以避免额外的排序操作。