知识卡片

普通读书笔记卡 · 9905.h · 生成模型:Hunyuan

PNN乘积层特征交叉

理解等级:高级

PNN在Deep Crossing骨架上只改一处:用乘积层替换Stacking层,让不同特征的Embedding不再简单拼接,而是两两做内积和外积,更有针对性地捕获特征间交叉信息。它不再局限于用户、物品两组向量,可容纳多来源特征。乘积层由内积与外积部分组成,外积生成M乘M交叉矩阵,复杂度从M升到M的平方,因此论文用叠加来降维,其效果近似先平均池化再外积。但这里藏着代价与陷阱:把不同语义维度的Embedding平均会模糊信息,因为年龄和地域的Embedding并不在同一空间,可比的通常只是同类Embedding。此外对所有特征无差别交叉也会淹没原始特征里的有效信息,需在训练效率与效果间权衡。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深度学习推荐系统》第3章 浪潮之巅——深度学习在推荐系统中的应用(源文件:extracted/深度学习推荐系统/_epub-src/text/part0007_split_005.html) - 结论依据:原文详述乘积层的内外积与叠加降维,并警告平均池化的可比性假设与无差别交叉的信息损失。 - 原始内容:唯一的区别在于 PNN模型用乘积层(Product Layer)代替了Deep Crossing模型中的Stacking层。也就是说,不同特征的Embedding向量不再是简单的拼接,而是用Product操作进行两两交互,更有针对性地获取特征之间的交叉信息。