知识卡片
处理器注册须遵循被调用接口
DOWNLOAD_HANDLERS按协议选择下载实现,而中间件、Item管道和扩展各由相应MiddlewareManager子类管理。图8.4中DownloadHandler表示接口角色,不必据图虚构实际同名基类;只填类路径不证明实现了所需方法。可从已有实现和调用处理解生命周期,再替换对应注册项,私有接口稳定性不能由作者当时观察永久担保。
结构图: 类图
classDiagram
class MiddlewareManager
class ItemPipelineManager
class SpiderMiddlewareManager
class DownloaderMiddlewareManager
class ExtensionManager
MiddlewareManager <|-- ItemPipelineManager
MiddlewareManager <|-- SpiderMiddlewareManager
MiddlewareManager <|-- DownloaderMiddlewareManager
MiddlewareManager <|-- ExtensionManager
Downloader --> DownloaderMiddlewareManager : middleware
Downloader --> DownloadHandlers : handlers
Scraper --> SpiderMiddlewareManager : spidermw
Scraper --> ItemPipelineManager : itemproc
DownloadHandlers ..> FileDownloadHandler : 按协议选择
DownloadHandlers ..> FTPDownloadHandler : 按协议选择
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第8章 Scrapy编程 8.6 中间件延伸 · 查看原书依据
DOWNLOAD_HANDLERS设置中添加映射
参考来源
- 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第8章 Scrapy编程,spine040单元010;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00039.html。
- 结论依据:原文协议映射选择下载处理器,支持注册后仍须满足调用契约,图示角色名称不能充作虚构真实基类。未在本机运行示例或改变环境。
- 原始内容:这一点,只需要创建一个下载处理器类,并在DOWNLOAD_HANDLERS设置中添加映射即可。最困难的部分是找出你的自定义类必须包含哪些接口(即需要实现哪些方法),因为大部分接口都不是显式的。你必须阅读源代码,查看这些类是如何使用的。最好的办法是从已有的实现