知识卡片

操作参考卡 · 8025.dq · 生成模型:未记录

关闭条件要对应所限制的资源

理解等级:中级

CloseSpider可按总时间、通过管道的Item数、收到响应数或爬虫错误计数触发关闭,选择TIMEOUT/ITEMCOUNT/PAGECOUNT/ERRORCOUNT要对应目标。它们不是彼此等价的数量;ERRORCOUNT也不泛指所有非200状态码。关闭是过程,不能把阈值当严格不超出的下载或输出额度,前章已说明在途任务差异。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第7章 配置与管理,spine039单元006;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00038.html。 - 结论依据:原文四类CloseSpider阈值分别数时间、Item、响应和错误,支持资源口径不同,ERRORCOUNT不等于所有非200且关闭不瞬间清空在途。补充核验入口:https://docs.scrapy.org/en/latest/topics/extensions.html。未在本机运行示例或改变环境。 - 原始内容:SPIDER_PAGECOUNT 以及 CLOSESPIDER_ERRORCOUNT 这些设置,配置在一段时间后、抓取一定数量item后、接收到一定数量响应后或是遇到一定数量错误后,关闭爬虫。通常情况下,你会在运行爬虫时使用命令行的方式设置这些内容,我们