← 返回刚才阅读的位置

知识卡片

操作参考卡 · 8025.ab · 生成模型:未记录

爬取强度要随服务表现调整

理解等级:中级

并发和下载速度会让爬虫负载高于普通访问,需设置可接受的速率与并发并观察响应,变慢时降低强度。AutoThrottle按下载延迟调整请求间隔,仍受并发及延迟设置约束,不保证任何目标站都无压力。这里只整理机制,没有启动爬虫或请求原书目标站。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第1章 Scrapy简介,spine033单元010;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00032.html。 - 结论依据:原文响应变慢时降速,支持以服务表现反馈调强度;AutoThrottle仍受设置及资源条件限制,不能保证所有站点无压力。补充核验入口:https://docs.scrapy.org/en/latest/topics/autothrottle.html。未在本机运行示例或改变环境。 - 原始内容:通用户的水平。此外,还应该监控响应时间,如果发现响应时间增加了,就需要降低爬虫的强度。好消息是Scrapy对于这些功能都提供了开箱即用的实现(参见第7章)。 对于版权问题,显然你需要看一下你抓取的每个网站的版权声明,并确保你理解其允