知识卡片

问题卡 · 8025.gx · 生成模型:未记录

辅助请求可能竞争抓取资源

理解等级:中级

旧版示例用engine.download向同一下载器注入慢API请求,挤占并影响正常页面调度,active还可超过面向常规调度的并发值。先检查在途请求类型,再决定是否分离外部API调用;改treq只是改变资源边界,不消除外部服务容量和限速责任。55秒到约20秒是此样例的结果,不证明所有媒体/robots请求都应移出框架或当前私有API行为相同。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第10章 理解Scrapy性能,spine042单元012;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00041.html。 - 结论依据:原文engine.download慢API占同下载器,直接支持先识别请求类型与容量边界,换treq仅转移竞争位置而不移除外部限速责任。未在本机运行示例或改变环境。 - 原始内容:大约19秒的时间。我们使用一个管道,用 crawler.engine.download() 制造到伪造API的额外HTTP请求,其响应时间在 1 秒之内。你可以通过 http:// localhost:9312/benchmark/ar:1/api?text=