知识卡片

操作参考卡 · 8025.dt · 生成模型:未记录

广度倾向由深度和队列共同形成

理解等级:中级

DEPTH_LIMIT限制跟进深度,0表示不设此限制;正DEPTH_PRIORITY使深层请求优先级降低,再配FIFO队列可形成广度优先倾向。新闻案例希望先覆盖顶层近期入口,体现顺序要服务目标。并发和起始请求仍影响实际顺序,且靠近首页不证明一定更新更近;旧scrapy.squeue类路径需按版本迁移。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第7章 配置与管理,spine039单元008;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00038.html。 - 结论依据:原文正DEPTH_PRIORITY配FIFO降低深层优先,支持调度倾向组合,0深度不限且并发下不保证严格广度或首页一定更新。补充核验入口:https://docs.scrapy.org/en/latest/topics/scheduler.html。未在本机运行示例或改变环境。 - 原始内容:(后入先出)转为FIFO(先入先出): DEPTH_PRIORITY = 1 SCHEDULER_DISK_QUEUE = 'scrapy.squeue.PickleFifoDiskQueue' SCHEDULER_MEMORY_QUEUE =