知识卡片

普通读书笔记卡 · 2281.m.2.b.2

自适应批次平衡开销

理解等级:高级

批次太大时小输入容易让 Worker 分工不均;太小时大输入会增加调度与重复网络读取。书中采用指数增长直到上限,使早期较小任务与后期吞吐兼顾;历史上限值不是通用最佳设置。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 4 处

    参考来源

    - 位置:《TiDB源码阅读系列文章》第11章《TiDB 源码阅读系列文章(十一)Index Lookup Join》(来源项目:book-sources;源文件:extracted/TiDB源码阅读系列文章/_epub-src/OEBPS/Text/TiDB 源码阅读系列文章(十一)Index Lookup Join.html;阅读段落 40,41,42,43;均为书中版本) - 结论依据:原文对自适应批次平衡开销给出上述机制或边界;本卡把已读说明整理为可独立理解的解释。 - 原始内容:第一点,对于每次读取的 batch 大小,如果将其设置为固定值,则可能会出现如下问题: …… 若设置的 batch 值较大,但 Outer 表数据量较小时。各个 Inner Worker 所需处理的任务量可能会不均匀,出现数据倾斜的情况,导致并发整体性能相对单线程提升有限。 …… 若设置的 batch 值较小,但 Outer 表数据量较大时。Inner Worker 处理任务时间短,需要频繁从管道中取任务,CPU 不能被持续高效利用,由此带来大量的线程切换开销。此外, 当 batch 值较小时,同一批 inner 表数据能会被反复读取多次,带来更大的网络开销,对整体 …… 因此,我们通过指数递增的方式动态控制 batch 的大小(由函数 increaseBatchSize 完成),以避免上述问题,batch size 的最大值由 session 变量 tidb_index_join_batch_size 控制,默认是 25000。读取到的 batch 存储在