知识卡片

普通读书笔记卡 · 8025.fi · 生成模型:未记录

异步客户端要匹配调用边界

理解等级:中级

treq提供基于Twisted的HTTP调用并返回Deferred,适合在管道内等待外部服务而避免直接阻塞反应器。它与Scrapy抓取请求的调度、统计和中间件边界不同,不应因为API像requests就认定完全同义。原书声称其性能更优将在特定后续实验说明,这里没有测量或证明所有场景都更快,也未安装客户端。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第9章 管道秘诀,spine041单元003;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00040.html。 - 结论依据:原文treq返回Deferred适配管道外部等待,支持避免阻塞反应器;这条请求不自动经过Scrapy下载调度和统计,性能优势还待具体证据。补充核验入口:https://treq.readthedocs.io/en/latest/api.html。未在本机运行示例或改变环境。 - 原始内容:发机中预先安装好了。 我们更倾向于选择 treq 而不是Scrapy的 Request/crawler.engine.download() 的原因是,虽然它们都很简单,但是在性能上 treq 更有优势,我们将会在第10章中看到更详细的介绍。