← 返回刚才阅读的位置

知识卡片

操作参考卡 · 9906.j · 生成模型:Hunyuan

Embedding层与预训练权衡

理解等级:高级

Embedding与深度网络的结合有一条核心权衡:端到端训练还是预训练。把Embedding层接入网络联合训练在理论上最优,上层梯度可以直接反传到输入层,模型自洽;但Embedding输入维度往往极大,参数量巨大,会明显拖慢整个网络收敛。工程上追求快速更新的系统因此常改用预训练:让Embedding训练独立于推荐网络,得到稠密表达后再与其他特征拼接输入网络。FNN用FM的隐向量初始化Embedding就是典型,甚至可以更彻底地固定Embedding权重只更新上层。预训练的映射未必是神经网络,GBDT+LR中GBDT部分本质就完成了一次Embedding。代价是割裂会损失信息,收益是灵活性:用户兴趣和物品属性较稳定,Embedding可以按周更新,而上层网络为抓住最新趋势需要高频甚至实时训练。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深度学习推荐系统》第4章 Embedding技术在推荐系统中的应用(源文件:extracted/深度学习推荐系统/_epub-src/text/part0008_split_005.html) - 结论依据:原文4.5.1与4.5.2节对比了端到端训练与预训练的优劣,并以FNN、GBDT+LR和不同更新频率说明预训练是开销与效果的权衡方案。 - 原始内容:但这样做的缺点是显而易见的,Embedding 层输入向量的维度往往很大,导致整个Embedding层的参数数量巨大,因此Embedding层的加入会拖慢整个神经网络的收敛速度(3.7节的基础知识中曾详细论证过这一点)。