← 返回刚才阅读的位置

知识卡片

操作参考卡 · 9910.q · 生成模型:Hunyuan

UIC拆分降低服务延迟

理解等级:高级

带序列结构的DIEN和MIMN推断过程串行、难以并行,成为线上服务瓶颈。阿里的解法是把模型服务架构从a改到b:用用户兴趣表达向量在线数据库替代用户行为特征序列数据库,并新增用户兴趣中心UIC生成并维护兴趣Embedding。这样实时预估服务器拿到的是兴趣向量,可跳过耗时的序列模型阶段,直接从MLP开始并行计算。实现上把模型拆成两部分:生成兴趣向量的部分部署在UIC,其余部署在实时预估服务器;新行为事件触发UIC增量更新兴趣向量。效果上500 QPS下DIEN预估从200毫秒降到19毫秒。对应两种部署范式:a是端到端部署(如TensorFlow Serving),b是Embedding加轻量级线上模型。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深度学习推荐系统》第8章 深度学习推荐系统的前沿实践(源文件:extracted/深度学习推荐系统/_epub-src/text/part0012_split_004.html) - 结论依据:原文对比a/b两架构,说明用户兴趣表达模块与UIC的作用、模型拆分部署方式,以及DIEN延迟由200毫秒降至19毫秒的数据。 - 原始内容:如果在线获取的是用户兴趣向量,那么实时预估服务器就可以跳过序列模型阶段,直接开始MLP阶段的运算。MLP的层数相较序列模型大大减少,而且便于并行计算,因此整个实时预估的延迟可以大幅减少。