知识卡片
FNN用FM隐向量初始化
FNN解决的是Embedding层拖慢收敛的工程难题。由于输入极端稀疏,Embedding参数量往往占全网九成以上,随机梯度下降时又只有非零特征相连的权重被更新,导致随机初始化的Embedding收敛极慢。FNN的做法是先用FM训练出各特征的隐向量,再用它们初始化Embedding层连接权重,相当于把有价值的先验信息注入起点,使训练从更接近最优处开始,从而加速收敛。注意FM训练时不区分特征域,而FNN中每个特征域各有Embedding且维度须与FM隐向量一致。它还引出Embedding预训练这一更通用的思路,为第4章埋下伏笔。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第3章 浪潮之巅——深度学习在推荐系统中的应用 · 查看原书依据
FNN模型的解决思路是用FM模型训练好的各特征隐向量初始化 Embedding 层的参数,相当于在初始化神经网络参数时,已经引入了有价值的先验信息。也就是说,神经网络训练的起点更接近目标最优点,自然加速了整个神经网络的收敛过程。
参考来源
- 位置:《深度学习推荐系统》第3章 浪潮之巅——深度学习在推荐系统中的应用(源文件:extracted/深度学习推荐系统/_epub-src/text/part0007_split_007.html)
- 结论依据:原文解释Embedding收敛慢的两点原因,并说明用FM隐向量初始化可引入先验、加速收敛。
- 原始内容:FNN模型的解决思路是用FM模型训练好的各特征隐向量初始化 Embedding 层的参数,相当于在初始化神经网络参数时,已经引入了有价值的先验信息。也就是说,神经网络训练的起点更接近目标最优点,自然加速了整个神经网络的收敛过程。