知识卡片
辅助请求可能竞争抓取资源
旧版示例用engine.download向同一下载器注入慢API请求,挤占并影响正常页面调度,active还可超过面向常规调度的并发值。先检查在途请求类型,再决定是否分离外部API调用;改treq只是改变资源边界,不消除外部服务容量和限速责任。55秒到约20秒是此样例的结果,不证明所有媒体/robots请求都应移出框架或当前私有API行为相同。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第10章 理解Scrapy性能 10.5.3 案例 #3:下载器中的“垃圾” · 查看原书依据
crawler.engine.download()
参考来源
- 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第10章 理解Scrapy性能,spine042单元012;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00041.html。
- 结论依据:原文engine.download慢API占同下载器,直接支持先识别请求类型与容量边界,换treq仅转移竞争位置而不移除外部限速责任。未在本机运行示例或改变环境。
- 原始内容:大约19秒的时间。我们使用一个管道,用 crawler.engine.download() 制造到伪造API的额外HTTP请求,其响应时间在 1 秒之内。你可以通过 http:// localhost:9312/benchmark/ar:1/api?text=