知识卡片
核心对象按运行责任组合
图8.4以本书版本展示CrawlerProcess继承CrawlerRunner,创建Crawler来组织settings、signals、spider、stats和extensions,Crawler.engine关联ExecutionEngine,后者协作Scheduler、Downloader和Scraper。原文extensions.crawler.engine的路径叙述容易混淆,应按实际对象关系理解;本图是历史架构导航,不承诺当前私有字段完全相同。
结构图: 类图
classDiagram
class CrawlerRunner {
+crawl(crawler_or_spiders)
+stop()
}
class CrawlerProcess {
+start()
}
class Crawler {
+settings
+signals
+spider
+stats
+extensions
+engine
}
class ExecutionEngine {
+downloader
+scraper
+slot.scheduler
}
CrawlerRunner <|-- CrawlerProcess
CrawlerRunner --> Crawler : 创建管理
Crawler --> ExecutionEngine : engine
ExecutionEngine --> Scheduler
ExecutionEngine --> Downloader
ExecutionEngine --> Scraper
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第8章 Scrapy编程 8.6 中间件延伸 · 查看原书依据
ExecutionEngine
参考来源
- 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第8章 Scrapy编程,spine040单元010;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00039.html。
- 结论依据:原文图8.4连接Process/Runner、Crawler与Engine等,支持按创建和协作责任读组合关系,图限Scrapy1.0而非当前版本完整类结构。补充核验入口:https://docs.scrapy.org/en/latest/topics/architecture.html。未在本机运行示例或改变环境。
- 原始内容:这将带领我们来到另一个非常重要的类—— ExecutionEngine 。在该类中,包含了 Scheduler 、 Downloader 以及 Scraper 。URL通过 Scheduler 进行计划,通过 Downloader 下载,通