知识卡片

结构图卡 · 8025.fd · 生成模型:未记录

调度队列与去重是两种职责

理解等级:中级

图8.4的Scheduler组合内存/磁盘队列以保存待执行请求,并使用BaseDupeFilter接口判断是否见过,请求优先级与重复判定因此可以分别扩展。队列push/pop与dupefilter.request_seen承担不同问题,不能靠改队列顺序就解决重复。图中mqs/dqs等字段属于本书版本,接入时应核对目标接口与持久化语义。

结构图: 类图

classDiagram
 class Scheduler {
  +enqueue_request(request)
  +next_request()
  +has_pending_requests()
 }
 class MemoryQueue {
  +push()
  +pop()
 }
 class DiskQueue {
  +push()
  +pop()
 }
 class BaseDupeFilter {
  +request_seen(request)
 }
 class RFPDupeFilter
 Scheduler --> MemoryQueue
 Scheduler --> DiskQueue
 Scheduler --> BaseDupeFilter
 BaseDupeFilter <|-- RFPDupeFilter
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第8章 Scrapy编程,spine040单元010;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00039.html。 - 结论依据:原文Scheduler分别组合队列与BaseDupeFilter,直接支持优先级保存和请求身份判重可独立扩展,改变push/pop顺序不解决重复。未在本机运行示例或改变环境。 - 原始内容:ionEngine 。在该类中,包含了 Scheduler 、 Downloader 以及 Scraper 。URL通过 Scheduler 进行计划,通过 Downloader 下载,通过 Scraper 进行后置处理。毫无疑