返回主题:线程池容量边界与过载策略

知识卡片

普通读书笔记卡 · 2426.g

全局限流用队列

理解等级:未标注

在每次调用内部限流并不够:网络蜘蛛每页限 2 个并发,但每个页面又各自再开 2 个,总下载数仍指数增长。要限制的是全局并发,办法是一个共享的任务队列(TaskQueue):维护运行计数和待处理队列,允许动态加入新任务,由这一个中央实体控制所有调用共享的并发上限。async.queue 提供同样的能力。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《Node.js设计模式(第2版)》第3章《异步控制流模式之回调函数》(源文件:_epub-src/OEBPS/text00013.html) - 结论依据:原文指出逐页限流仍会使下载总数指数增长,并用可动态加任务、在所有调用间共享的 TaskQueue 实现全局并发限制。 - 原始内容:然而,由于我们可以一次下载多个链接,每个页面将会产生另外两个下载,导致下载操作的总数增长无论如何是指数级的。……TaskQueue类比较有趣的特性是它允许我们动态地将新项添加到队列中。另一个优点是,现在有一个中央实体负责限制任务的并发性,它可以在函数执行的所有实例中共享。