知识卡片
增加并发失效时先查饱和资源
并发上升而耗时趋平、CPU逼近该执行资源容量,提示约束已从下载等待转向处理能力。原书150到200并发都约14秒,示意继续加并发不再获益;80%—90%只是经验阈值,需看单核、配额和监测口径。多进程可能利用其他核心,同一反应器内多开Spider并不自动获得额外CPU并行;带宽和下游也可能先饱和。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
参考来源
- 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第10章 理解Scrapy性能,spine042单元010;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00041.html。
- 结论依据:原文150/200并发耗时趋平且CPU高,支持转查计算约束而非继续盲加,阈值需结合核/配额,单循环多Spider不自动多核并行。补充核验入口:https://docs.scrapy.org/en/latest/topics/practices.html。未在本机运行示例或改变环境。
- 原始内容:用任务管理器查看CPU负载如何时,会发现CPU负载非常高。 图10.6 当并发增长到一定程度后,性能趋于平缓 示例: 假设运行了如下命令。 $ for concurrent in 25 50 100 150 200; do