知识卡片

普通读书笔记卡 · 2580.b.1.c.1.h.2.b.4.a.6.a

预取与并发解决不同等待

理解等级:中级

后台预取把 RPC 等待提前到调用 Next 之前,多个 Worker 则让不同任务并行。前者只隐藏部分等待,后者增加并发吞吐;通道关闭表示结果流结束,不能用暂时无数据误判完成。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 6 处

    参考来源

    - 位置:《TiDB源码阅读系列文章》第19章《TiDB 源码阅读系列文章(十九)tikv-client(下)》(来源项目:book-sources;源文件:extracted/TiDB源码阅读系列文章/_epub-src/OEBPS/Text/TiDB 源码阅读系列文章(十九)tikv-client(下).html;阅读段落 17,18,19,20,21,22;均为书中版本) - 结论依据:原文对预取与并发解决不同等待给出上述机制或边界;本卡把已读说明整理为可独立理解的解释。 - 原始内容:这个执行方式的一个很大的问题,大量时间耗费在等待 coprocessor 请求返回结果,我们需要改进一下。 …… coprocessor 请求如果是由 Next 触发的,每次调用 Next 就必须等待一个 RPC round trip 的延迟。我们可以改造成请求在 Next 被调用之前触发,这样就能在 Next 被调用的时候,更早拿到结果返回,省掉了阻塞等待的过程。 …… 在 copIterator 创建的时候,我们启动一个后台 worker goroutine 来依次执行所有的 coprocessor task,并把执行结果发送到一个 response channel,这样前台 Next 方法只需要从这个 channel 里 receive 一个 copr …… 当所有 coprocessor task 被 worker 执行完成的时候,worker 把这个 response channel 关闭,Next 方法在 receive channel 的时候发现 channel 已经关闭,就可以返回 nil response,表示所有结果都处理完成了。 …… 以上的执行方案还是存在一个问题,就是 coprocessor task 只有一个 worker 在执行,没有并行,性能还是不理想。 …… 为了增大并行度,我们可以构造多个 worker 来执行 task,把所有的 task 发送到一个 task channel,多个 worker 从这一个 channel 读取 task,执行完成后,把结果发到 response channel,通过设置 worker 的数量控制并发度。