知识卡片

问题卡 · 8025.gw · 生成模型:未记录

阻塞定位要保持对照仍然有效

理解等级:中级

下载器常空而增加并发无效,可检查Spider或Pipeline是否阻塞反应器。若去掉管道仍能正常运行,可逐段禁用/恢复比较;不能去掉则对阶段打点或剖析。100项各阻塞100毫秒约累计10秒说明等待串行化,但不严格等同所有行为都变成并发1。找到原因后选择非阻塞接口、合适线程桥接或后处理,CPU密集型仍要核对GIL与进程选择。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第10章 理解Scrapy性能,spine042单元011;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00041.html。 - 结论依据:原文逐段禁用管道作对照,支持先确认少掉该阶段仍可运行;等待累加说明串行化但不等同全系统严格并发1。未在本机运行示例或改变环境。 - 原始内容:在没有任何管道的情况下仍然可以工作,那么禁用这些管道,并检查是否仍存在奇怪的行为。如果仍存在,那么阻塞代码位于爬虫中。如果不再存在,那么依次启用管道,观察问题是否开始出现。如果该系统在缺少任何运行中的模块的情况下无法正常运