知识卡片

结构图卡 · 8025.fc · 生成模型:未记录

核心对象按运行责任组合

理解等级:中级

图8.4以本书版本展示CrawlerProcess继承CrawlerRunner,创建Crawler来组织settings、signals、spider、stats和extensions,Crawler.engine关联ExecutionEngine,后者协作Scheduler、Downloader和Scraper。原文extensions.crawler.engine的路径叙述容易混淆,应按实际对象关系理解;本图是历史架构导航,不承诺当前私有字段完全相同。

结构图: 类图

classDiagram
 class CrawlerRunner {
  +crawl(crawler_or_spiders)
  +stop()
 }
 class CrawlerProcess {
  +start()
 }
 class Crawler {
  +settings
  +signals
  +spider
  +stats
  +extensions
  +engine
 }
 class ExecutionEngine {
  +downloader
  +scraper
  +slot.scheduler
 }
 CrawlerRunner <|-- CrawlerProcess
 CrawlerRunner --> Crawler : 创建管理
 Crawler --> ExecutionEngine : engine
 ExecutionEngine --> Scheduler
 ExecutionEngine --> Downloader
 ExecutionEngine --> Scraper
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第8章 Scrapy编程,spine040单元010;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00039.html。 - 结论依据:原文图8.4连接Process/Runner、Crawler与Engine等,支持按创建和协作责任读组合关系,图限Scrapy1.0而非当前版本完整类结构。补充核验入口:https://docs.scrapy.org/en/latest/topics/architecture.html。未在本机运行示例或改变环境。 - 原始内容:这将带领我们来到另一个非常重要的类—— ExecutionEngine 。在该类中,包含了 Scheduler 、 Downloader 以及 Scraper 。URL通过 Scheduler 进行计划,通过 Downloader 下载,通