知识卡片
输入饥饿不能靠空增下载容量
下载器未满且调度器空,说明可能没有足够已发现URL,而不是下载器并发配置太低。索引逐页产生详情链接时,发现链延迟会限制供给;书中500条约32秒对比预载URL约11秒是此构造。每秒20条只是在其20链接和1秒分页条件下的近似,不是所有导航结构的绝对上限,需区分详情吞吐与额外索引请求。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第10章 理解Scrapy性能 10.5.6 案例 #6:下载器未充分利用 · 查看原书依据
我们没有足够的URL提供给它
参考来源
- 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第10章 理解Scrapy性能,spine042单元015;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00041.html。
- 结论依据:原文明示URL供给不足且调度空,支持转查串行发现链,示例20链接/秒为其分页条件,非通用爬取极限。未在本机运行示例或改变环境。
- 原始内容:列,可以确信下载器没能充分利用。这是因为我们没有足够的URL提供给它。我们的抓取处理生成URL的速度比最大消费能力要慢。在本例中,每个索引页会生成20个URL加上1个前往下一索引页的URL。吞吐量无论如何都无法超过每秒20个请求,因为我们