知识卡片

普通读书笔记卡 · 8025.dn · 生成模型:未记录

每响应管道并发不是全局上限

理解等级:中级

CONCURRENT_ITEMS约束每个响应的Item处理并发,不能简单看成整个进程的写库连接数。16个下载并发乘100只是原书说明放大风险的例子,下载完成后响应及数据仍可能在处理,所以它不是全局1600条的可靠界限。应把待处理数据、管道耗时和下游容量一起观察,降低值也不保证任何负载都提速。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第7章 配置与管理,spine039单元005;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00038.html。 - 结论依据:原文16乘100仅作放大示例,CONCURRENT_ITEMS按响应约束且旧响应仍处理,不能由乘积证明全进程连接严格界限。补充核验入口:https://docs.scrapy.org/en/latest/topics/settings.html。未在本机运行示例或改变环境。 - 原始内容:EMS = 100 ,那么可能意味着会有1600个item同时在尝试写入数据库。一般来说,建议将该值设置得更保守一些。 对于下载, DOWNLOAD_TIMEOUT 决定了下载器在取消一个请求之前需要等待的时间,其默认值为180秒,这似乎有些偏高(