知识卡片
预取与并发解决不同等待
后台预取把 RPC 等待提前到调用 Next 之前,多个 Worker 则让不同任务并行。前者只隐藏部分等待,后者增加并发吞吐;通道关闭表示结果流结束,不能用暂时无数据误判完成。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 6 处
- TiDB 源码阅读系列文章(十九)tikv-client(下) · 查看原书依据
这个执行方式的一个很大的问题,大量时间耗费在等待 coprocessor 请求返回结果,我们需要改进一下。
- TiDB 源码阅读系列文章(十九)tikv-client(下) · 查看原书依据
coprocessor 请求如果是由 Next 触发的,每次调用 Next 就必须等待一个 RPC round trip 的延迟。我们可以改造成请求在 Next 被调用之前触发,这样就能在 Next 被调用的时候,更早拿到结果返回,省掉了阻塞等待的过程。
- TiDB 源码阅读系列文章(十九)tikv-client(下) · 查看原书依据
在 copIterator 创建的时候,我们启动一个后台 worker goroutine 来依次执行所有的 coprocessor task,并把执行结果发送到一个 response channel,这样前台 Next 方法只需要从这个 channel 里 receive 一个 copr
- TiDB 源码阅读系列文章(十九)tikv-client(下) · 查看原书依据
当所有 coprocessor task 被 worker 执行完成的时候,worker 把这个 response channel 关闭,Next 方法在 receive channel 的时候发现 channel 已经关闭,就可以返回 nil response,表示所有结果都处理完成了。
- TiDB 源码阅读系列文章(十九)tikv-client(下) · 查看原书依据
以上的执行方案还是存在一个问题,就是 coprocessor task 只有一个 worker 在执行,没有并行,性能还是不理想。
- TiDB 源码阅读系列文章(十九)tikv-client(下) · 查看原书依据
为了增大并行度,我们可以构造多个 worker 来执行 task,把所有的 task 发送到一个 task channel,多个 worker 从这一个 channel 读取 task,执行完成后,把结果发到 response channel,通过设置 worker 的数量控制并发度。