知识卡片
扩容上限模型需要实测校准
3实例×4进程×16请求并发×每秒4页=768页每秒是理想模型,4指可运行进程数而不是每台必有4个CPU。书中约315、134、480、667页每秒受CPU、启动、调度、传输和源站能力影响;最后源站成为瓶颈。只有证实当前约束,增加实例才可能提速;这些是出版环境数据,不能当本机结果或无限扩容保证。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
参考来源
- 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第11章 使用Scrapyd与实时分析进行分布式爬取,spine043单元013;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00042.html。
- 结论依据:原文性能算式和四组环境样本,并明确源站瓶颈及未计延迟,支持理论上限与实际约束的区别。未在本机运行示例或改变环境。
- 原始内容:4个页面/秒(通过页面下载延迟定义)= 768个页面/秒。 实践时,在Macbook Pro中使用分配了4GB内存以及8核CPU的VirtualBox虚拟机,我可以在2分40秒的时间内获取50,000个URL,也就是大约315