知识卡片
关闭等待只覆盖已登记异步工作
关闭时先提交尾批,再等待已保存的DeferredList,可减少正常退出遗留未发请求。默认DeferredList聚合成功和失败,不意味着所有请求成功,也不等待远端抓取结束;强制终止无法靠关闭回调保证。列表不断保留历史提交还增加内存,应按实际需求管理生命周期和失败结果。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第11章 使用Scrapyd与实时分析进行分布式爬取 11.4.2 分批爬取URL · 查看原书依据
yield defer.DeferredList(self._scrapyd_submits_to_wait)
参考来源
- 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第11章 使用Scrapyd与实时分析进行分布式爬取,spine043单元007;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00042.html。
- 结论依据:原文关闭处理器先flush再聚合所有POST Deferred;官方说明聚合结果含success标志,不能把完成等同全成功。2026-11-06核对官方资料:https://docs.twisted.org/en/stable/api/twisted.internet.defer.DeferredList.html。未在本机运行示例或改变环境。
- 原始内容:_flush_urls(spider) yield defer.DeferredList(self._scrapyd_submits_to_wait) _close() 将会在我们按下 Ctrl + C 或爬取完成时被调用。无论哪种情况,我们都不希望丢失属于最后一个批次的任何URL,因为它们还没有被发送出去。这就是为什