知识卡片

普通读书笔记卡 · 8025.dm · 生成模型:未记录

并发容量不能直接当请求频率

理解等级:中级

CONCURRENT_REQUESTS限制同时在途的下载请求,域名等槽位还有更局部约束。若持续有工作、平均耗时0.25秒且无其他瓶颈,16并发可估算约64请求/秒,但这不是固定速率上限。原书PER_IP非零覆盖PER_DOMAIN的说法限其版本,当前官方配置已变化;要按实际版本的槽位模型核对,而非机械套值。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第7章 配置与管理,spine039单元005;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00038.html。 - 结论依据:原文16除0.25得到64依赖持续负载与固定均时,支持估算而非速率硬上限,域/IP设置关系仍按目标版本核对。补充核验入口:https://docs.scrapy.org/en/latest/topics/settings.html。未在本机运行示例或改变环境。 - 原始内容:求平均花费1/4秒的话,你的限制就是每秒16/0.25 = 64个请求。 CONCURRENT_ITEMS 用于设置对每个响应同时处理的最大item数量。你可能会发现该设置并没有它看起来那么实用,因为很多情况下,每个页面或请求中只有一