知识卡片
批处理的收益与代价
每次 NextChunk 返回多行,可摊薄函数调用、复用内存并改善缓存局部性。但给小请求直接分配最大批次不一定合算;批次大小应结合行宽、实际请求规模和延迟目标评估,不能照抄历史默认值。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 7 处
- TiDB 源码阅读系列文章(十)Chunk 和执行框架简介 · 查看原书依据
每次函数调用返回一批数据,数据量由一个叫 tidb_max_chunk_size 的 session 变量来控制,默认是 1024 行。因为 TiDB 是一个混合 TP 和 AP 的数据库,对于 AP 类型的查询来说,因为计算的数据量大,1024 没啥问题,但是对于 TP 请求来说,计算的
- TiDB 源码阅读系列文章(十)Chunk 和执行框架简介 · 查看原书依据
Child 把它产出的数据写入到 Parent 传下来的 Chunk 中。
- TiDB 源码阅读系列文章(十)Chunk 和执行框架简介 · 查看原书依据
减少了框架上的函数调用开销。比如同样输出 1024 行结果,现在的函数调用次数将会是以前的 1/1024。
- TiDB 源码阅读系列文章(十)Chunk 和执行框架简介 · 查看原书依据
内存使用更加高效。Chunk 中的数据组织非常紧凑,存一个 8 字节的整数几乎就只需要 8 字节,没有其他额外的内存开销了。
- TiDB 源码阅读系列文章(十)Chunk 和执行框架简介 · 查看原书依据
减轻了 golang 的 gc 压力。Chunk 占用的内存可以不断地重复利用,不用频繁的申请新内存,从而减轻了 golang 的 gc 压力。
- TiDB 源码阅读系列文章(十)Chunk 和执行框架简介 · 查看原书依据
查询的执行过程更加缓存友好。如我们之前所说,Chunk 按列来组织数据,在计算的过程中我们也尽量按列来计算,这样既能让一列的数据尽量长时间的待在 Cache 中,减轻 Cache Miss 率,也能充分利用起 CPU 的 pipeline。这一块在后续的源码分析文章中会有详细介绍,这里就不
- TiDB 源码阅读系列文章(十)Chunk 和执行框架简介 · 查看原书依据
内存监控和控制更加方便。Chunk 中没有使用任何 interface,我们能很方便的直接获取一个 Chunk 当前所占用的内存的大小,具体可以看这个函数:MemoryUsage。关于 TiDB 内存控制,我们也会在后续文章中详细介绍,这里也不再展开了。