知识卡片
七种截然不同的服务方案
把预测集成进系统的可行方案跨度极大:把模型装进得梅因的一千台服务器接全部流量;用大型离线批作业预计算一亿个最常见「毛线商品 × 用户查询」组合、每天写一次共享库,未命中用默认分 p=0.01;做 JavaScript 版模型放进网页让预测发生在浏览器;做内置模型的移动 App 让预测发生在用户设备;准备多个计算成本与精度权衡不同的模型版本;做分层系统,云端不同硬件上放不同成本的版本,简单查询送便宜(较不准)模型、困难查询送昂贵(较准)模型。作者列出这些正是要说明:服务设计的本质是同一问题的多种解法,选型必须先明确自己的负载、延迟、位置与硬件约束,而不是照搬某一种「标准做法」。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- Serving · 查看原书依据
They are sufficiently different in approach that it might not be obvious looking at the list that these are all attempts to solve the same problem: how can we integrate our predictions with the overall system? We could do any of the following: Load the model into 1,000 servers in Des Moines, Iowa, and feed all incoming traffic to these servers. Precompute the model’s predictions for the 100,000,000 most commonly seen combinati