知识卡片

问题卡 · 8025.ha · 生成模型:未记录

输入饥饿不能靠空增下载容量

理解等级:中级

下载器未满且调度器空,说明可能没有足够已发现URL,而不是下载器并发配置太低。索引逐页产生详情链接时,发现链延迟会限制供给;书中500条约32秒对比预载URL约11秒是此构造。每秒20条只是在其20链接和1秒分页条件下的近似,不是所有导航结构的绝对上限,需区分详情吞吐与额外索引请求。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第10章 理解Scrapy性能,spine042单元015;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00041.html。 - 结论依据:原文明示URL供给不足且调度空,支持转查串行发现链,示例20链接/秒为其分页条件,非通用爬取极限。未在本机运行示例或改变环境。 - 原始内容:列,可以确信下载器没能充分利用。这是因为我们没有足够的URL提供给它。我们的抓取处理生成URL的速度比最大消费能力要慢。在本例中,每个索引页会生成20个URL加上1个前往下一索引页的URL。吞吐量无论如何都无法超过每秒20个请求,因为我们