知识卡片
并行进程的理论容量仍有前提
一个脚本每条等待250毫秒,理想服务率约4条/秒;16个相互独立且资源足够的实例理论上约64条/秒,实际仍受上游25条/秒等限制。轮询只分配次数,不保证负载均衡;启动三秒、排队和传输也计入延迟。完整示例一次结果后再送下一条,体现需要背压,不能把无限transport.write队列当免费容量。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第9章 管道秘诀 9.4.2 使用二进制或脚本的管道 · 查看原书依据
16×4 = 64
参考来源
- 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第9章 管道秘诀,spine041单元014;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00040.html。
- 结论依据:原文250毫秒和16实例乘得64条秒属于独立且资源足够模型,上游25条秒仍限制真实吞吐,轮询只平衡次数不保证负载。未在本机运行示例或改变环境。
- 原始内容:为每个实例发送价格。该管道现在提供了每秒16×4 = 64个item的吞吐量。我们可以通过一个快速爬取来确认,如下所示。 $ scrapy crawl easy -s CLOSESPIDER_ITEMCOUNT=1000 ...