知识卡片

问题卡 · 8025.gy · 生成模型:未记录

周期停顿可能是响应背压

理解等级:中级

下载器反复填满又暂停、下游活跃响应估计大小升高,可能是慢管道或大页面触发Scraper背压。旧示例按响应体并至少约1KB计数,原文把它称为请求体不准确;它也不是全部内存。现在可配置SCRAPER_SLOT_MAX_ACTIVE_SIZE,但提高值会增加在途资源,不是修复下游能力;改响应正文也不保证已登记计数随之下降。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第10章 理解Scrapy性能,spine042单元013;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00041.html。 - 结论依据:原文max_active_size与填满/暂停关联,支持查慢管道和大响应,计数是响应体估计非请求体或总内存,增阈值也增加占用。补充核验入口:https://docs.scrapy.org/en/latest/topics/settings.html。未在本机运行示例或改变环境。 - 原始内容:编写代码时写入)的对请求总大小的限制: max_active_size = 5000000。假设每个请求的大小等于其请求体的大小,并且至少是1KB。 一个重要的细节是,该限制可能是Scrapy最巧妙且本质的机制,用于防止过慢的爬虫或管道。如果你的任何一个管道的