知识卡片
并发容量要按吞吐和等待估算
原书假设16页/秒、每页100条房源,则流入1600条/秒;每条写入平均3秒,在稳定流量且无其他约束的近似下,需约4800个同时在途写入才能维持吞吐。这是容量估算,不是打开4800连接就保证性能。数据库容量、连接池、背压和内存也会约束系统,不能由抓取并发直接推出存储能跟上。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第1章 Scrapy简介 1.1 初识Scrapy · 查看原书依据
1600 × 3 = 4800
参考来源
- 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第1章 Scrapy简介,spine033单元002;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00032.html。
- 结论依据:原文1600乘3得4800来自假设流入率与平均等待,支持稳定条件下在途数量估算,未提供数据库、内存和连接均能承受的证据。未在本机运行示例或改变环境。
- 原始内容:秒16个请求的吞吐量,就需要我们并行运行1600 × 3 = 4800次写入请求(你将在第9章中看到很多这样有趣的计算)。对于一个传统的多线程应用而言,则需要转变为4800个线程,无论是对你,还是对操作系统来说,这都会是一个非常糟糕的体验。