知识卡片

普通读书笔记卡 · 9904.l · 生成模型:Hunyuan

FM隐向量特征交叉

理解等级:中级

FM针对POLY2的缺陷,用两个特征隐向量的内积取代单一交叉权重系数:每个特征学一个k维隐权重向量,交叉权重由内积算出。这与矩阵分解用隐向量表示用户物品异曲同工,相当于把隐向量思想从用户、物品扩展到所有特征。收益有两方面:参数从n²降到n·k(k远小于n),训练复杂度同样降到n·k级,大幅降低开销;更重要的是泛化提升——频道ESPN的隐向量可通过与Gucci的样本更新,品牌Adidas也可通过与NBC的样本更新,即便组合(NBC,Gucci)从未出现,也能用各自学好的隐向量算出权重,这是POLY2做不到的。代价是丢失了具体组合的精确记忆能力。FM可用梯度下降训练、结构易于部署,因而成为2012至2014年的主流推荐模型。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深度学习推荐系统》第2章 前深度学习时代——推荐系统的进化之路(源文件:extracted/深度学习推荐系统/_epub-src/text/part0006_split_005.html) - 结论依据:原文说明FM二阶部分用隐向量内积替代单一权重,并以ESPN、Adidas、NBC、Gucci为例论证其对未出现组合的泛化能力及相对POLY2的遗忘代价。 - 原始内容:(式2-21)是FM二阶部分的数学形式,与POLY2相比,其主要区别是用两个向量的内积取代了单一的权重系数。具体地说,FM为每个特征学习了一个隐权重向量(latent vector)。在特征交叉时,使用两个特征隐向量的内积作为交叉特征的权重