知识卡片
MaaS:以 API 提供模型能力
模型即服务(MaaS)类似 SaaS,天生偏向微服务架构:模型存放在专用集群、通过定义良好的 API(传输与序列化用 gRPC 或 REST 皆可)提供结果,因以微服务形态提供而与主应用相对隔离,不必进程内交互或紧耦合,因此是最灵活、最可扩展的部署/服务策略。优势成组:可用实时上下文与新特征做实时预测;关注点分离让 ML 工程更稳地调整模型并套用成熟运维手法,多数 MaaS 模型可做成无状态无共享配置依赖,加容量只是加实例(水平扩展);部署隔离让应用与模型服务各选技术栈、按不同节奏发布到 QA/预发/金丝雀;版本管理易扩散(同集群存多版本按需指向,极便于 A/B 测试,还可把模型标识设计进响应以跟踪路由与归集事件数据,支持滚动重部署);集中化使系统健康、容量/吞吐、延迟、资源消耗与每模型展示/点击/转化等业务指标更易监控,把输入输出包一层并标准化模型识别加载后,许多 SRE「黄金四信号」类指标可接现成工具顺带获得。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- Serving · 查看原书依据
Model as a Service The Model-as-a-Service (MaaS) approach is similar to software as a service and inherently favors a microservice architecture. With MaaS, models are stored in a dedicated cluster and served results via well-defined APIs. Regardless of the transport or serialization methods (e.g., gRPC or REST),6 because models are served as a microservice, they’re relatively isolated from the main application (Figure 8-4).