知识卡片
爬取强度要随服务表现调整
并发和下载速度会让爬虫负载高于普通访问,需设置可接受的速率与并发并观察响应,变慢时降低强度。AutoThrottle按下载延迟调整请求间隔,仍受并发及延迟设置约束,不保证任何目标站都无压力。这里只整理机制,没有启动爬虫或请求原书目标站。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第1章 Scrapy简介 1.5 在充满爬虫的世界里做一个好公民 · 查看原书依据
如果发现响应时间增加了
参考来源
- 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第1章 Scrapy简介,spine033单元010;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00032.html。
- 结论依据:原文响应变慢时降速,支持以服务表现反馈调强度;AutoThrottle仍受设置及资源条件限制,不能保证所有站点无压力。补充核验入口:https://docs.scrapy.org/en/latest/topics/autothrottle.html。未在本机运行示例或改变环境。
- 原始内容:通用户的水平。此外,还应该监控响应时间,如果发现响应时间增加了,就需要降低爬虫的强度。好消息是Scrapy对于这些功能都提供了开箱即用的实现(参见第7章)。 对于版权问题,显然你需要看一下你抓取的每个网站的版权声明,并确保你理解其允