← 返回起始笔记位置

知识卡片

普通读书笔记卡 · 2580.b.1.c.1.h.4.a.3

批处理的收益与代价

理解等级:高级

每次 NextChunk 返回多行,可摊薄函数调用、复用内存并改善缓存局部性。但给小请求直接分配最大批次不一定合算;批次大小应结合行宽、实际请求规模和延迟目标评估,不能照抄历史默认值。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 7 处

    参考来源

    - 位置:《TiDB源码阅读系列文章》第10章《TiDB 源码阅读系列文章(十)Chunk 和执行框架简介》(来源项目:book-sources;源文件:extracted/TiDB源码阅读系列文章/_epub-src/OEBPS/Text/TiDB 源码阅读系列文章(十)Chunk 和执行框架简介.html;阅读段落 68,69,71,72,73,74,75;均为书中版本) - 结论依据:原文对批处理的收益与代价给出上述机制或边界;本卡把已读说明整理为可独立理解的解释。 - 原始内容:每次函数调用返回一批数据,数据量由一个叫 tidb_max_chunk_size 的 session 变量来控制,默认是 1024 行。因为 TiDB 是一个混合 TP 和 AP 的数据库,对于 AP 类型的查询来说,因为计算的数据量大,1024 没啥问题,但是对于 TP 请求来说,计算的 …… Child 把它产出的数据写入到 Parent 传下来的 Chunk 中。 …… 减少了框架上的函数调用开销。比如同样输出 1024 行结果,现在的函数调用次数将会是以前的 1/1024。 …… 内存使用更加高效。Chunk 中的数据组织非常紧凑,存一个 8 字节的整数几乎就只需要 8 字节,没有其他额外的内存开销了。 …… 减轻了 golang 的 gc 压力。Chunk 占用的内存可以不断地重复利用,不用频繁的申请新内存,从而减轻了 golang 的 gc 压力。 …… 查询的执行过程更加缓存友好。如我们之前所说,Chunk 按列来组织数据,在计算的过程中我们也尽量按列来计算,这样既能让一列的数据尽量长时间的待在 Cache 中,减轻 Cache Miss 率,也能充分利用起 CPU 的 pipeline。这一块在后续的源码分析文章中会有详细介绍,这里就不 …… 内存监控和控制更加方便。Chunk 中没有使用任何 interface,我们能很方便的直接获取一个 Chunk 当前所占用的内存的大小,具体可以看这个函数:MemoryUsage。关于 TiDB 内存控制,我们也会在后续文章中详细介绍,这里也不再展开了。