知识卡片

问题卡 · 8025.gz · 生成模型:未记录

多条数据的并发要两侧平衡

理解等级:中级

每响应含100条、管道等待3秒时,CONCURRENT_ITEMS太小会延长响应占用并引发背压,太大又可能使CPU或下游过载,形成图10.11的折中。Item数与响应数不能普遍作固定乘积,只在相应负载和利用条件下近似。单条响应常不受更高值帮助,但设1不是所有组合的永恒最佳;根据症状调整并确认变化,而不是只找某个数字。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第10章 理解Scrapy性能,spine042单元014;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00041.html。 - 结论依据:原文每响应100条、每项等3秒形成浴缸曲线,支持太少延长占用、太多压下游的折中,不推出所有负载固定乘积或最佳1。未在本机运行示例或改变环境。 - 原始内容: 第二个有意思的事情是图10.11所示的浴缸形状的性能函数。由于纵轴是缩放的,因此该图表看起来会比实际情况更显著。在左侧,延迟非常高,因为触及了前一节所提到的内存限制。而在右侧,并发过多,造成使用了过多的CPU。获得最佳效果并不