知识卡片
周期停顿可能是响应背压
下载器反复填满又暂停、下游活跃响应估计大小升高,可能是慢管道或大页面触发Scraper背压。旧示例按响应体并至少约1KB计数,原文把它称为请求体不准确;它也不是全部内存。现在可配置SCRAPER_SLOT_MAX_ACTIVE_SIZE,但提高值会增加在途资源,不是修复下游能力;改响应正文也不保证已登记计数随之下降。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第10章 理解Scrapy性能 10.5.4 案例 #4:大量响应或超长响应造成的溢出 · 查看原书依据
max_active_size = 5000000
参考来源
- 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第10章 理解Scrapy性能,spine042单元013;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00041.html。
- 结论依据:原文max_active_size与填满/暂停关联,支持查慢管道和大响应,计数是响应体估计非请求体或总内存,增阈值也增加占用。补充核验入口:https://docs.scrapy.org/en/latest/topics/settings.html。未在本机运行示例或改变环境。
- 原始内容:编写代码时写入)的对请求总大小的限制: max_active_size = 5000000。假设每个请求的大小等于其请求体的大小,并且至少是1KB。 一个重要的细节是,该限制可能是Scrapy最巧妙且本质的机制,用于防止过慢的爬虫或管道。如果你的任何一个管道的