知识卡片

普通读书笔记卡 · 3100.c

批次请求处理用异步收集换吞吐

理解等级:未标注

批次请求先把各调用方的请求放入队列并返回各自的 Future;后台线程按“达到数量”或“等待超时”成批发送,收到结果后逐一完成对应 Future。这样可分摊网络往返开销、提高吞吐,但收集等待可能拉长某条请求的响应时间。批大小与等待上限应按吞吐和尾延迟目标调整;结果必须正确对应原请求。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《实时流计算系统设计与实现》第5章5.4.3《批次请求处理》(源文件:_epub-src/OEBPS/Text/chapter87.xhtml;图5-4:_epub-src/OEBPS/Images/t5-4-i.jpg) - 结论依据:原文用队列和 CompletableFuture 收集与返还批次请求,并指出吞吐可提高而个别请求时延可能增加;图示要求结果与原请求对应。 - 原始内容:当请求发起时,将请求提交给队列后获取一个CompletableFuture对象。……当批次请求返回后,将批次结果拆解开,再依次使用CompletableFuture的complete函数将结果交给各个请求发起者。