知识卡片
阻塞定位要保持对照仍然有效
下载器常空而增加并发无效,可检查Spider或Pipeline是否阻塞反应器。若去掉管道仍能正常运行,可逐段禁用/恢复比较;不能去掉则对阶段打点或剖析。100项各阻塞100毫秒约累计10秒说明等待串行化,但不严格等同所有行为都变成并发1。找到原因后选择非阻塞接口、合适线程桥接或后处理,CPU密集型仍要核对GIL与进程选择。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
参考来源
- 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第10章 理解Scrapy性能,spine042单元011;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00041.html。
- 结论依据:原文逐段禁用管道作对照,支持先确认少掉该阶段仍可运行;等待累加说明串行化但不等同全系统严格并发1。未在本机运行示例或改变环境。
- 原始内容:在没有任何管道的情况下仍然可以工作,那么禁用这些管道,并检查是否仍存在奇怪的行为。如果仍存在,那么阻塞代码位于爬虫中。如果不再存在,那么依次启用管道,观察问题是否开始出现。如果该系统在缺少任何运行中的模块的情况下无法正常运