知识卡片
调度队列与去重是两种职责
图8.4的Scheduler组合内存/磁盘队列以保存待执行请求,并使用BaseDupeFilter接口判断是否见过,请求优先级与重复判定因此可以分别扩展。队列push/pop与dupefilter.request_seen承担不同问题,不能靠改队列顺序就解决重复。图中mqs/dqs等字段属于本书版本,接入时应核对目标接口与持久化语义。
结构图: 类图
classDiagram
class Scheduler {
+enqueue_request(request)
+next_request()
+has_pending_requests()
}
class MemoryQueue {
+push()
+pop()
}
class DiskQueue {
+push()
+pop()
}
class BaseDupeFilter {
+request_seen(request)
}
class RFPDupeFilter
Scheduler --> MemoryQueue
Scheduler --> DiskQueue
Scheduler --> BaseDupeFilter
BaseDupeFilter <|-- RFPDupeFilter
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第8章 Scrapy编程 8.6 中间件延伸 · 查看原书依据
Scheduler
参考来源
- 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第8章 Scrapy编程,spine040单元010;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00039.html。
- 结论依据:原文Scheduler分别组合队列与BaseDupeFilter,直接支持优先级保存和请求身份判重可独立扩展,改变push/pop顺序不解决重复。未在本机运行示例或改变环境。
- 原始内容:ionEngine 。在该类中,包含了 Scheduler 、 Downloader 以及 Scraper 。URL通过 Scheduler 进行计划,通过 Downloader 下载,通过 Scraper 进行后置处理。毫无疑