← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9816.f · 生成模型:DeepSeek-V4.1-Flash

二阶交叉的维度爆炸

理解等级:中级

逻辑回归是推荐与广告预估里最基础的线性模型:给每个特征一个权重,加权求和后过 sigmoid 得到点击概率。它的表达能力受两点限制:特征必须靠人工设计,模型本身认为特征之间互不依赖——而在真实场景中“用户年龄段”和“物品品类”这类特征明显是联合起作用的。

最直接的补救是把所有二阶组合都显式写进模型:给每一对特征 (i,j) 配一个权重 w_ij,项为 w_ij·x_i·x_j。这样做有两个后果:

1)参数爆炸。特征数为 n 时交叉权重有 n(n−1)/2 个,n 上万时参数规模不可接受; 2)学不动。one-hot 之后每个样本只有极少数位非零,某个组合 (i,j) 在训练集中可能一次都没共现,它的 w_ij 就永远得不到有效梯度,只能停在初值附近。

换句话说,交叉特征的稀疏性使“每个组合独立一套参数”这条路走不通。解决办法不是减少交叉,而是让不同组合共享参数——这就是把 w_ij 拆成两个低维向量内积的 FM。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第8章 推荐系统的主要算法(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0109.html) - 结论依据:原文说明二阶笛卡儿积会造成维度过多、组合特征稀疏且有效性不足,构成 FM 用隐向量共享参数的动机。 - 原始内容:如果我们考虑最朴素的特征组合,即考虑特征之间的二阶笛卡儿乘积,那么会导致特征维度太多。并且这样组合后的特征并不都是有效的,且组合后的特征非常稀疏