知识卡片
案例四:把 BERT 塞进 50ms 实时环境
Dialpad 的 Cheng Chen 讲 NLP 应用(实时转录格式化、情感检测、行动项抽取等)的部署挑战:开发与部署大型 NLP 模型本就难,要让它们落在实时、性价比合适的性能约束内更是显著加难。2019 年大语言模型 BERT 取得 SOTA NLP 表现后,团队计划借它提供更准确的 NLP 能力,包括标点恢复与日期、时间、货币检测。但为降低云成本,实时生产环境被分配的资源极有限——GPU 不在选项内,很多模型最多只有一个 CPU;此外模型推理的硬上限是每 utterance 50 ms,而 BERT base 有 12 层 Transformer 块、1.1 亿参数。团队知道要把它优化进实时环境很有挑战,却仍漏掉了关键一块:很难准确估计「模型究竟还要快多少才能满足实时需求」。团队原本的做法是本地 profiling(对大量随机采样 utterance 跑推理、算平均每 utterance 时延),达标后打包交给 DE 团队在 GKE 集群做金丝雀部署并盯实时指标看板;但基于 BERT 的大模型常被 DE 发现延迟或排队时间显著上升而不得不回滚。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- Case Studies: MLOps in Practice · 查看原书依据
We knew it would be challenging to optimize it to fit into our real-time environment, but we still overlooked one critical piece: the difficulty of obtaining an accurate estimate on how much faster the model has to be to meet our real-time demand.