知识卡片
总工时模型区分固定与逐项成本
在下载器充分利用、无其他瓶颈且每请求开销相近时,可用总时间≈请求总数×(响应时间+逐请求额外成本)/有效并发+启动收尾时间。这里请求总数不同于利特尔法则中的平均在途数。短任务的启动成本占比高,长任务才更接近稳态吞吐;并发、域名限制和负载改变时模型前提也会失效。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第10章 理解Scrapy性能 10.4 标准性能模型 · 查看原书依据
tdownload = tresponse + toverhead
参考来源
- 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第10章 理解Scrapy性能,spine042单元008;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00041.html。
- 结论依据:原文总请求、响应耗时、额外开销和收尾构成模型,支持充分利用时分摊逐项成本,任务总数不是利特尔法则平均在途数量。未在本机运行示例或改变环境。
- 原始内容:Twisted/Python)的延迟( t download = t response + t overhead )。如果能够考虑一些启动和结束时间也是很好的。它包括你得到一个响应的时间与其Item从管道另一端出来的时间之间的间隔,以及在缓存冷启动时,你得到第一个响应之前的时间及性