知识卡片
发现速率必须匹配工作供给
单一下一页链只能串行发现索引,即使下载并发设16也可能只用到1。按可分割的索引设多个种子才能供给并发;16/0.25=64页每秒是理想上限,1667页约26秒不含额外成本。书中32秒实测对应约52索引页、1560详情URL每秒;消费更慢会堆积,消费更快会饥饿。这里是原书样本,不是本次运行结果。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
参考来源
- 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第11章 使用Scrapyd与实时分析进行分布式爬取,spine043单元006;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00042.html。
- 结论依据:原文提供串行10页、20索引种子以及32秒样本,并明确总体吞吐受生产与消费较小一方约束。未在本机运行示例或改变环境。
- 原始内容:,这就意味着每秒可以生成52×30 = 1560个详情页URL。现在,可以将垂直抓取的 Rule 的注释取消掉,保存文件作为新爬虫分发。我们不需要对爬虫代码进行更多修改,这显示出我们即将开发的中间件的强大以及非侵入性。如果只使用开发