知识卡片

普通读书笔记卡 · 9904.k · 生成模型:Hunyuan

POLY2的暴力交叉与缺陷

理解等级:中级

POLY2是最早把特征交叉引入推荐模型的尝试:它对所有特征做两两组合,并为每个组合学习一个权重,相当于用“暴力”方式弥补逻辑回归不能交叉的短板。由于本质仍是线性模型,训练方法与逻辑回归一致,工程上容易兼容。但它有两个致命缺陷:互联网数据常用one-hot编码,特征向量本就极度稀疏,无选择的两两交叉会让它更稀疏,大部分交叉权重缺乏有效样本而无法收敛;同时权重参数从n量级暴涨到n²量级,训练复杂度大幅上升。这两点意味着POLY2只适合稠密、低维特征,在海量稀疏的推荐场景难以落地,改进方向便是用隐向量替代独立交叉权重。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第2章 前深度学习时代——推荐系统的进化之路 · 查看原书依据

      但POLY2模型存在两个较大的缺陷。 (1)在处理互联网数据时,经常采用 one-hot 编码的方法处理类别型数据,致使特征向量极度稀疏,POLY2进行无选择的特征交叉——原本就非常稀疏的特征向量更加稀疏,导致大部分交叉特征的权重缺乏有效的数据进行训练,无法收敛

    参考来源

    - 位置:《深度学习推荐系统》第2章 前深度学习时代——推荐系统的进化之路(源文件:extracted/深度学习推荐系统/_epub-src/text/part0006_split_005.html) - 结论依据:原文说明POLY2对所有特征两两交叉并赋权,随后明确列出稀疏数据导致权重无法收敛、参数升至n²两点缺陷。 - 原始内容:但POLY2模型存在两个较大的缺陷。 (1)在处理互联网数据时,经常采用 one-hot 编码的方法处理类别型数据,致使特征向量极度稀疏,POLY2进行无选择的特征交叉——原本就非常稀疏的特征向量更加稀疏,导致大部分交叉特征的权重缺乏有效的数据进行训练,无法收敛