知识卡片
每响应管道并发不是全局上限
CONCURRENT_ITEMS约束每个响应的Item处理并发,不能简单看成整个进程的写库连接数。16个下载并发乘100只是原书说明放大风险的例子,下载完成后响应及数据仍可能在处理,所以它不是全局1600条的可靠界限。应把待处理数据、管道耗时和下游容量一起观察,降低值也不保证任何负载都提速。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第7章 配置与管理 7.2.2 性能 · 查看原书依据
1600个item同时在尝试写入数据库
参考来源
- 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第7章 配置与管理,spine039单元005;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00038.html。
- 结论依据:原文16乘100仅作放大示例,CONCURRENT_ITEMS按响应约束且旧响应仍处理,不能由乘积证明全进程连接严格界限。补充核验入口:https://docs.scrapy.org/en/latest/topics/settings.html。未在本机运行示例或改变环境。
- 原始内容:EMS = 100 ,那么可能意味着会有1600个item同时在尝试写入数据库。一般来说,建议将该值设置得更保守一些。 对于下载, DOWNLOAD_TIMEOUT 决定了下载器在取消一个请求之前需要等待的时间,其默认值为180秒,这似乎有些偏高(