知识卡片

操作参考卡 · 9908.n · 生成模型:Hunyuan

预训练Embedding加轻量模型

理解等级:中级

为兼顾通用平台的灵活与自研推断的高效,业界常用“复杂网络离线训练、生成 Embedding 入内存库、线上跑轻量级模型”的折中。双塔模型是典型:用户特征与物品特征分别用复杂网络编码成 Embedding,在交叉层之前两塔毫无交互;训练完成后把两侧 Embedding 存入内存数据库,线上不复现复杂网络,只实现最后的输出层,通常是逻辑回归或 softmax,也可用浅层神经网络。还可在输出层前把两侧 Embedding 与场景特征拼接,从而引入线上特征、丰富特征来源。由于 Graph Embedding 已能融入大量信息,输出层不必复杂,这套方案灵活简单且不明显损失效果。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深度学习推荐系统》第6章 深度学习推荐系统的工程实现(源文件:extracted/深度学习推荐系统/_epub-src/text/part0010_split_005.html) - 结论依据:原文描述双塔模型离线生成 Embedding、线上只实现输出层的做法,并指出可拼接场景特征以及 Embedding 预训练省去复杂线上推断。 - 原始内容:业界的很多公司采用了“复杂网络离线训练、生成Embedding存入内存数据库、线上实现逻辑回归或浅层神经网络等轻量级模型拟合优化目标”的上线方式。