知识卡片

普通读书笔记卡 · 8025.go · 生成模型:未记录

瓶颈位置影响积压的内存成本

理解等级:中级

级联阶段的稳态吞吐受约束阶段限制,等待会在其前方积压。通常待下载请求比含完整页面的响应轻,因此让输入在下载前受控可减少下游保留大对象;但Request还有正文、meta和对象引用,不只是几个URL字节。下载器作为控制点是针对该目标的选择,不表示所有系统的固有瓶颈都必须在那里。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第10章 理解Scrapy性能,spine042单元003;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00041.html。 - 结论依据:原文要求积压工作单元花销较少,支持尽量在保留完整响应前控制入口;Request仍可带正文/meta,不能简化为几个URL字节或指定一切瓶颈位置。未在本机运行示例或改变环境。 - 原始内容:的。我们最好通过配置保持管道充满,且单个工作单元的花销最少。在Scrapy中,一个工作单元(爬取一个页面)主要是由下载器前的URL(几个字节)以及下载后的URL加上服务器响应(较大)组成。 这就是为什么在Scrapy系统中,通常