知识卡片

操作参考卡 · 8025.by · 生成模型:未记录

停止阈值不等于严格采集额度

理解等级:中级

CLOSESPIDER_ITEMCOUNT按通过item pipeline的Item数量触发关闭,用来缩短示例运行;它不是下载页数上限,也不保证恰好产生该数量后所有在途工作立即消失。需要区分响应数、成功数据数和关闭中的剩余请求。教材90条与94次请求是书中运行记录,本次没有执行。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第3章 爬虫基础,spine035单元021;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00034.html。 - 结论依据:原文ITEMCOUNT示例按管道Item触发关闭且请求数不同,直接支持不是下载页硬上限,关闭中在途工作仍可能完成。补充核验入口:https://docs.scrapy.org/en/latest/topics/extensions.html#closespider-itemcount。未在本机运行示例或改变环境。 - 原始内容:行时间过长,可以通过命令行参数: -s CLOSESPIDER_ITEMCOUNT=90 ,告知爬虫在爬取指定数量(如90个)的Item后停止运行(更多细节参见第7章)。现在,我们可以运行了。 $ scrapy crawl manual -s CLOSESP