知识卡片
调优流程先证实当前约束
从较低并发起步,观察CPU、远端延迟、入口供给和下游占用,再选择对应调整;每次改变后重测,而不是直接加服务器。图10.13是排查路径,CPU阈值和5MB等是出版时条件,当前应核对配置与资源口径。阻塞、API资源竞争和多Item背压可能共存,流程叶子是待检验判断,不是自动验收结果;本次没有运行性能测试。
结构图:
flowchart TD
A[吞吐低于有依据的预期] --> B[观察资源和队列的时间变化]
B --> C{CPU或其他资源饱和?}
C -->|是| D[核对热点及可用容量]
C -->|否| E{下载器供给充足?}
E -->|否| F[检查索引发现与调度限制]
E -->|是| G[检查辅助请求和下游处理]
G --> H{下游占用增长或周期背压?}
H -->|是| I[核对多Item并发与下游能力]
H -->|否| J[检查阻塞和模型假设]
D --> K[单项调整并重新测量]
F --> K
I --> K
J --> K
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
参考来源
- 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第10章 理解Scrapy性能,spine042单元016;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00041.html。
- 结论依据:原文故障排查图按CPU、供给与下游分支,支持提出并复测假设,旧阈值与单一叶子不能自动证明当前约束或排除多问题共存。未在本机运行示例或改变环境。
- 原始内容:10.6 故障排除流程 总结来说,Scrapy在设计时就将下载器作为瓶颈。从一个低数值的 CONCURRENT_REQUESTS 开始,逐渐增加,直到触及下述限制之一: CPU使用率大于80%