知识卡片
自适应批次平衡开销
批次太大时小输入容易让 Worker 分工不均;太小时大输入会增加调度与重复网络读取。书中采用指数增长直到上限,使早期较小任务与后期吞吐兼顾;历史上限值不是通用最佳设置。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 4 处
- TiDB 源码阅读系列文章(十一)Index Lookup Join · 查看原书依据
第一点,对于每次读取的 batch 大小,如果将其设置为固定值,则可能会出现如下问题:
- TiDB 源码阅读系列文章(十一)Index Lookup Join · 查看原书依据
若设置的 batch 值较大,但 Outer 表数据量较小时。各个 Inner Worker 所需处理的任务量可能会不均匀,出现数据倾斜的情况,导致并发整体性能相对单线程提升有限。
- TiDB 源码阅读系列文章(十一)Index Lookup Join · 查看原书依据
若设置的 batch 值较小,但 Outer 表数据量较大时。Inner Worker 处理任务时间短,需要频繁从管道中取任务,CPU 不能被持续高效利用,由此带来大量的线程切换开销。此外, 当 batch 值较小时,同一批 inner 表数据能会被反复读取多次,带来更大的网络开销,对整体
- TiDB 源码阅读系列文章(十一)Index Lookup Join · 查看原书依据
因此,我们通过指数递增的方式动态控制 batch 的大小(由函数 increaseBatchSize 完成),以避免上述问题,batch size 的最大值由 session 变量 tidb_index_join_batch_size 控制,默认是 25000。读取到的 batch 存储在
参考来源
- 位置:《TiDB源码阅读系列文章》第11章《TiDB 源码阅读系列文章(十一)Index Lookup Join》(来源项目:book-sources;源文件:extracted/TiDB源码阅读系列文章/_epub-src/OEBPS/Text/TiDB 源码阅读系列文章(十一)Index Lookup Join.html;阅读段落 40,41,42,43;均为书中版本)
- 结论依据:原文对自适应批次平衡开销给出上述机制或边界;本卡把已读说明整理为可独立理解的解释。
- 原始内容:第一点,对于每次读取的 batch 大小,如果将其设置为固定值,则可能会出现如下问题: …… 若设置的 batch 值较大,但 Outer 表数据量较小时。各个 Inner Worker 所需处理的任务量可能会不均匀,出现数据倾斜的情况,导致并发整体性能相对单线程提升有限。 …… 若设置的 batch 值较小,但 Outer 表数据量较大时。Inner Worker 处理任务时间短,需要频繁从管道中取任务,CPU 不能被持续高效利用,由此带来大量的线程切换开销。此外, 当 batch 值较小时,同一批 inner 表数据能会被反复读取多次,带来更大的网络开销,对整体 …… 因此,我们通过指数递增的方式动态控制 batch 的大小(由函数 increaseBatchSize 完成),以避免上述问题,batch size 的最大值由 session 变量 tidb_index_join_batch_size 控制,默认是 25000。读取到的 batch 存储在