知识卡片

普通读书笔记卡 · 8025.t · 生成模型:未记录

并发容量要按吞吐和等待估算

理解等级:中级

原书假设16页/秒、每页100条房源,则流入1600条/秒;每条写入平均3秒,在稳定流量且无其他约束的近似下,需约4800个同时在途写入才能维持吞吐。这是容量估算,不是打开4800连接就保证性能。数据库容量、连接池、背压和内存也会约束系统,不能由抓取并发直接推出存储能跟上。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第1章 Scrapy简介,spine033单元002;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00032.html。 - 结论依据:原文1600乘3得4800来自假设流入率与平均等待,支持稳定条件下在途数量估算,未提供数据库、内存和连接均能承受的证据。未在本机运行示例或改变环境。 - 原始内容:秒16个请求的吞吐量,就需要我们并行运行1600 × 3 = 4800次写入请求(你将在第9章中看到很多这样有趣的计算)。对于一个传统的多线程应用而言,则需要转变为4800个线程,无论是对你,还是对操作系统来说,这都会是一个非常糟糕的体验。