知识卡片
背压用下游占用调节下载入口
本书模型把调度器、下载器、Spider和Item管道串联,并由Scraper处理中的响应大小反馈控制继续取请求。下游处理慢可使下载入口暂停,避免无限持有响应;异步等待也会占用在途对象,不能据不阻塞CPU就认定不会成为约束。约5MB是该版本的估计计数阈值,不是整个进程RSS硬上限;当前设置可配置。
结构图:
flowchart TD
Q[调度器待下载请求] --> D[下载器并发槽]
D --> S[Spider解析响应]
S --> I[每响应的Item处理]
I --> Done[成功输出统计]
S --> M[Scraper活跃响应估计大小]
I --> M
M -.下游积压触发背压.-> Q
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第10章 理解Scrapy性能 10.1.3 Scrapy性能模型 · 查看原书依据
响应的总计大小超过5MB
参考来源
- 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第10章 理解Scrapy性能,spine042单元005;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00041.html。
- 结论依据:原文Scraper响应估计大小反馈到下载调度,直接支持慢下游暂停入口,约5MB是版本计数阈值而非进程RSS硬上限。补充核验入口:https://docs.scrapy.org/en/latest/topics/settings.html。未在本机运行示例或改变环境。
- 原始内容:(大储水池)反馈的安全阀,如果正在执行的响应的总计大小超过5MB,那么它会让前往下载器的后续请求停止。这可能会导致不可预料的性能起伏。 下载器: 这是Scrapy关于性能最重要的组成部分。它对能够并行执行的请求的数量有着复杂的限制。其