知识卡片
管道串联数据动作并明确丢弃
Item依次通过process_item,返回数据交给下一组件,DropItem显式终止此项的后续处理;open_spider/close_spider可做初始化和清理。把跨来源清洗或存储放进管道可减少Spider重复代码,但处理仍须非阻塞或正确等待。普通异常与有意DropItem不同,不能把出错悄悄当已成功处理。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第8章 Scrapy编程 8.2 Scrapy架构概述 · 查看原书依据
抛出DropItem 异常
参考来源
- 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第8章 Scrapy编程,spine040单元006;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00039.html。
- 结论依据:原文process_item返回继续、DropItem停止后续,直接支持主动丢弃与普通错误分开,初始化/清理hook并不自动令处理非阻塞。补充核验入口:https://docs.scrapy.org/en/latest/topics/item-pipeline.html。未在本机运行示例或改变环境。
- 原始内容:们可能需要放弃一个Item,此时可以通过抛出 DropItem 异常的方式实现。这种情况下,后续的管道将不会再接收该Item。如果我们提供了 open_spider() 和 / 或 close_spider() 方法,那么爬虫会对应地在开