知识卡片
性能快照中的计数单位不能混用
mqs加需要时的dqs是等待请求,downloader.active是在途下载,scraper.active是处理中响应,itemproc_size是处理中的Item,active_size则为估计字节数。一个响应可有多个Item,所以115响应减105个Item不能一般性推出10个响应正在Spider中。成功累计数的增长才可估计吞吐,反应器内诊断也不能运行阻塞代码;私有字段路径限书中版本。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第10章 理解Scrapy性能 10.2 使用telnet获得组件利用率 · 查看原书依据
剩余的10个请求目前正在爬虫中处理
参考来源
- 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第10章 理解Scrapy性能,spine042单元006;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00041.html。
- 结论依据:原文将响应115与Item105相减解释请求,单位不一致;队列请求、下载、响应、Item和估计字节分别统计,不能机械相减。未在本机运行示例或改变环境。
- 原始内容:proc_size) 看出来,这就意味着剩余的10个请求目前正在爬虫中处理。总体来说,我们可以看出瓶颈似乎在下载器中,在其之前的工作队列( mqs )非常庞大,但下载器已经满负荷利用了;而在其之后,我们有着数量很高但又比较稳定的任务(可以通过多