知识卡片
两类中间件处理位置和契约不同
下载器中间件包围下载过程,爬虫中间件处理送入Spider的响应及回调产出的Request/Item流,不能仅按一对一与一对多区分。下载process_request可返回None继续、Response短路、Request重调度或抛异常,并非原书所说只返回Response。图8.2⁄8.3表达的是各自位置,执行顺序和输入输出要按具体hook判断。
结构图:
flowchart LR
E[Engine] --> DM[下载器中间件请求钩子]
DM --> D[Downloader]
D --> RM[下载器中间件响应钩子]
RM --> E
E --> SI[Spider输入中间件]
SI --> S[Spider回调]
S --> SO[Spider输出中间件]
SO --> E
E --> P[Item管道]
SO -.Request重新调度.-> E
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第8章 Scrapy编程 8.2 Scrapy架构概述 · 查看原书依据
只会返回一个Response
参考来源
- 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第8章 Scrapy编程,spine040单元006;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00039.html。
- 结论依据:原文把下载中间件简化为只返Response,本卡按所列接口区分None/Request/Response/异常,爬虫中间件作用于另一段输出流。补充核验入口:https://docs.scrapy.org/en/latest/topics/downloader-middleware.html;https://docs.scrapy.org/en/latest/topics/spider-middleware.html。未在本机运行示例或改变环境。
- 原始内容:载器中间件获取一个 Request 时,只会返回一个 Response 。而爬虫中间件可以在对某些 Request 不感兴趣时舍弃掉它们,或者对每个输入的 Request 都发出多个 Request ,用来完成你的应用程序的目标。可以说爬虫