知识卡片
异步客户端要匹配调用边界
treq提供基于Twisted的HTTP调用并返回Deferred,适合在管道内等待外部服务而避免直接阻塞反应器。它与Scrapy抓取请求的调度、统计和中间件边界不同,不应因为API像requests就认定完全同义。原书声称其性能更优将在特定后续实验说明,这里没有测量或证明所有场景都更快,也未安装客户端。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第9章 管道秘诀 9.1.1 使用treq · 查看原书依据
treq 而不是Scrapy的
参考来源
- 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第9章 管道秘诀,spine041单元003;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00040.html。
- 结论依据:原文treq返回Deferred适配管道外部等待,支持避免阻塞反应器;这条请求不自动经过Scrapy下载调度和统计,性能优势还待具体证据。补充核验入口:https://treq.readthedocs.io/en/latest/api.html。未在本机运行示例或改变环境。
- 原始内容:发机中预先安装好了。 我们更倾向于选择 treq 而不是Scrapy的 Request/crawler.engine.download() 的原因是,虽然它们都很简单,但是在性能上 treq 更有优势,我们将会在第10章中看到更详细的介绍。