知识卡片

普通读书笔记卡 · 8025.gl · 生成模型:未记录

并行进程的理论容量仍有前提

理解等级:中级

一个脚本每条等待250毫秒,理想服务率约4条/秒;16个相互独立且资源足够的实例理论上约64条/秒,实际仍受上游25条/秒等限制。轮询只分配次数,不保证负载均衡;启动三秒、排队和传输也计入延迟。完整示例一次结果后再送下一条,体现需要背压,不能把无限transport.write队列当免费容量。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第9章 管道秘诀,spine041单元014;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00040.html。 - 结论依据:原文250毫秒和16实例乘得64条秒属于独立且资源足够模型,上游25条秒仍限制真实吞吐,轮询只平衡次数不保证负载。未在本机运行示例或改变环境。 - 原始内容:为每个实例发送价格。该管道现在提供了每秒16×4 = 64个item的吞吐量。我们可以通过一个快速爬取来确认,如下所示。 $ scrapy crawl easy -s CLOSESPIDER_ITEMCOUNT=1000 ...