知识卡片
广度倾向由深度和队列共同形成
DEPTH_LIMIT限制跟进深度,0表示不设此限制;正DEPTH_PRIORITY使深层请求优先级降低,再配FIFO队列可形成广度优先倾向。新闻案例希望先覆盖顶层近期入口,体现顺序要服务目标。并发和起始请求仍影响实际顺序,且靠近首页不证明一定更新更近;旧scrapy.squeue类路径需按版本迁移。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第7章 配置与管理 7.2.5 爬取风格 · 查看原书依据
DEPTH_PRIORITY = 1
参考来源
- 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第7章 配置与管理,spine039单元008;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00038.html。
- 结论依据:原文正DEPTH_PRIORITY配FIFO降低深层优先,支持调度倾向组合,0深度不限且并发下不保证严格广度或首页一定更新。补充核验入口:https://docs.scrapy.org/en/latest/topics/scheduler.html。未在本机运行示例或改变环境。
- 原始内容:(后入先出)转为FIFO(先入先出): DEPTH_PRIORITY = 1 SCHEDULER_DISK_QUEUE = 'scrapy.squeue.PickleFifoDiskQueue' SCHEDULER_MEMORY_QUEUE =