知识卡片

问题卡 · 8025.hb · 生成模型:未记录

增加导航供给也会增加积压

理解等级:中级

每页更多详情、多个可前探分页链接或提高索引优先级,可能让调度器更快取得工作,直到触及其他容量。优先遍历索引也可能先积累大量URL,推迟可见结果并增加内存。应在目标站允许和实际页面结构下选择,不把基准中设置大分页或高优先级当对任意网站无成本的优化。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第10章 理解Scrapy性能,spine042单元015;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00041.html。 - 结论依据:原文先取更多索引可增加工作供给,支持直到其他资源受限才有收益,同时可能堆URL和延后结果,不当无成本普遍优化。未在本机运行示例或改变环境。 - 原始内容:1 来进行尝试。请注意这两种解决方案都会首先下载整个索引页(由于优先级高),因此会在调度器中生成大量URL,增加内存需求。在它们完成所有索引之前,只会给出少量的结果。对于少量索引还可以接受,但是对于大量索引的情况,就不太可取了。