知识卡片

普通读书笔记卡 · 8025.hl · 生成模型:未记录

发现速率必须匹配工作供给

理解等级:中级

单一下一页链只能串行发现索引,即使下载并发设16也可能只用到1。按可分割的索引设多个种子才能供给并发;16/0.25=64页每秒是理想上限,1667页约26秒不含额外成本。书中32秒实测对应约52索引页、1560详情URL每秒;消费更慢会堆积,消费更快会饥饿。这里是原书样本,不是本次运行结果。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第11章 使用Scrapyd与实时分析进行分布式爬取,spine043单元006;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00042.html。 - 结论依据:原文提供串行10页、20索引种子以及32秒样本,并明确总体吞吐受生产与消费较小一方约束。未在本机运行示例或改变环境。 - 原始内容:,这就意味着每秒可以生成52×30 = 1560个详情页URL。现在,可以将垂直抓取的 Rule 的注释取消掉,保存文件作为新爬虫分发。我们不需要对爬虫代码进行更多修改,这显示出我们即将开发的中间件的强大以及非侵入性。如果只使用开发