知识卡片
自助 staging 负载测试工具
本地 profiling 与生产不对齐(可能来自集群资源分配或流量模式),根子在于科学家没有合适工具真正基准化推理,反复手工部署回滚代价高,还伴随把表现不佳模型放进系统造成拥塞与停服的焦虑;临时加一个 CPU 做推理只是权宜。转机是 DE 团队提议做「全面且自助」的 staging 负载测试工具:DE 原本就维护一个 NLP 模型与产品接口集成、供 QA 打测试电话的 staging 环境,只是此前没被用来彻底基准化大模型。设计要点包括:负载数据要含模型的触发短语;要混合不同 utterance 长度、最好偏长以更好逼近压力下的表现;必须真正触发模型推理、不被缓存/优化短路而得到误导性的低时延;用 CircleCI 工作流控制自动部署到 staging;负载数据最好与生产预期特征相似。工具提供音频端到端(模拟通话、从 staging 的 QA 通话自动采样、可定制 NLP 专用音频)与文本单模型(只针对标点或情感等单个微服务、可挑最难输入做压力测试)两种;科学家自启测试后盯 Runtime 95th 看板(经验法则低于 1 秒达标,多数模型聚集在 0.5 秒以下),Datadog 提供逐模型运行分解。工具显著降低了快速开发周期里的沟通开销,自动 staging 基准从此成为模型开发的标准流程。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- Case Studies: MLOps in Practice · 查看原书依据
The DE team proposed a comprehensive and self-serve load-test tool to help applied scientists benchmark model inference in the staging environment. When designing the load-test tool, we kept the following high-level points in mind: Load-test data should contain trigger phrases for the model.