知识卡片

结构图卡 · 8025.es · 生成模型:未记录

两类中间件处理位置和契约不同

理解等级:中级

下载器中间件包围下载过程,爬虫中间件处理送入Spider的响应及回调产出的Request/Item流,不能仅按一对一与一对多区分。下载process_request可返回None继续、Response短路、Request重调度或抛异常,并非原书所说只返回Response。图8.2⁄8.3表达的是各自位置,执行顺序和输入输出要按具体hook判断。

结构图:

flowchart LR
 E[Engine] --> DM[下载器中间件请求钩子]
 DM --> D[Downloader]
 D --> RM[下载器中间件响应钩子]
 RM --> E
 E --> SI[Spider输入中间件]
 SI --> S[Spider回调]
 S --> SO[Spider输出中间件]
 SO --> E
 E --> P[Item管道]
 SO -.Request重新调度.-> E
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第8章 Scrapy编程,spine040单元006;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00039.html。 - 结论依据:原文把下载中间件简化为只返Response,本卡按所列接口区分None/Request/Response/异常,爬虫中间件作用于另一段输出流。补充核验入口:https://docs.scrapy.org/en/latest/topics/downloader-middleware.html;https://docs.scrapy.org/en/latest/topics/spider-middleware.html。未在本机运行示例或改变环境。 - 原始内容:载器中间件获取一个 Request 时,只会返回一个 Response 。而爬虫中间件可以在对某些 Request 不感兴趣时舍弃掉它们,或者对每个输入的 Request 都发出多个 Request ,用来完成你的应用程序的目标。可以说爬虫