知识卡片

操作参考卡 · 8025.gr · 生成模型:未记录

性能快照中的计数单位不能混用

理解等级:中级

mqs加需要时的dqs是等待请求,downloader.active是在途下载,scraper.active是处理中响应,itemproc_size是处理中的Item,active_size则为估计字节数。一个响应可有多个Item,所以115响应减105个Item不能一般性推出10个响应正在Spider中。成功累计数的增长才可估计吞吐,反应器内诊断也不能运行阻塞代码;私有字段路径限书中版本。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第10章 理解Scrapy性能,spine042单元006;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00041.html。 - 结论依据:原文将响应115与Item105相减解释请求,单位不一致;队列请求、下载、响应、Item和估计字节分别统计,不能机械相减。未在本机运行示例或改变环境。 - 原始内容:proc_size) 看出来,这就意味着剩余的10个请求目前正在爬虫中处理。总体来说,我们可以看出瓶颈似乎在下载器中,在其之前的工作队列( mqs )非常庞大,但下载器已经满负荷利用了;而在其之后,我们有着数量很高但又比较稳定的任务(可以通过多