知识卡片
预测延迟与应用谱系
预测延迟是从发出请求到拿回答案的时间,可接受值在不同应用间差异巨大,是服务架构选择的主要决定因素。yarnit.ai 这类网店从用户敲下「merino wool yarn」到看到完整推荐页可能只有半秒总预算,扣掉网络延迟与页面构建所需处理,留给模型对候选商品做完所有预测的只有几毫秒;高频交易平台与自动驾驶实时制导同属极低延迟一端。另一端是决定最佳钻井点或设计抗体蛋白序列的模型——使用预测本身(真去建钻井平台、湿实验室验证候选序列)要数周数月,延迟无关紧要;每天早晨才查一次邮箱的垃圾邮件过滤也自带隐式宽限。负载与延迟合起来定义 ML 系统的整体计算需求;延迟过高可上更强硬件或让模型算得更便宜。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- Serving · 查看原书依据
What Are the Prediction Latency Needs of Our Model? Prediction latency is the time between the moment we make a request and the moment we get an answer back. Acceptable prediction latency can vary dramatically among applications, and is a major determiner of serving architecture choices.
参考来源
- 位置:《Reliable Machine Learning》第08章《Serving》(源文件:extracted/Reliable Machine Learning/_epub-src/OEBPS/ch08.xhtml)
- 结论依据:原文明确阐述该主题,并给出定义、实践或反例。
- 原始内容:What Are the Prediction Latency Needs of Our Model? Prediction latency is the time between the moment we make a request and the moment we get an answer back. Acceptable prediction latency can vary dramatically among applications, and is a major determiner of serving architecture choices.