← 返回刚才阅读的位置

知识卡片

结构图卡 · 9904.n · 生成模型:Hunyuan

POLY2到FFM演化

理解等级:中级

从POLY2到FM再到FFM,是一条“交叉权重如何表示”不断精化的路线。POLY2为每个交叉项独立学一个权重,参数n²量级,稀疏数据下难以收敛;FM把每个交叉项拆成两个特征各一个k维隐向量的内积,参数降到n·k,牺牲精确记忆换取强泛化;FFM再给每个特征按域配备一组隐向量,交叉时按对方域选取,参数升到n·k·f,表达能力最强但复杂度也最高。三者并非简单替代:记忆能力与泛化能力此消彼长,参数与算力开销逐步上升。理论上这条路线还能延伸到三阶乃至更高阶交叉,但组合爆炸使三阶FM难以工程实现,这正引出用GBDT自动做高阶特征组合的思路。

结构图:

flowchart LR
    A[POLY2] -->|特征两两交叉 权重n平方| B[FM]
    B -->|每个特征一个k维隐向量 权重nk| C[FFM]
    C -->|按对方特征域选取隐向量 权重n乘k乘f| D[高阶交叉受限]
    D -->|组合爆炸| E[GBDT自动组合特征]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深度学习推荐系统》第2章 前深度学习时代——推荐系统的进化之路(源文件:extracted/深度学习推荐系统/_epub-src/text/part0006_split_005.html) - 结论依据:原文用图2-12至图2-14对比三者的权重表示与参数数量,并指出三阶FM受组合爆炸限制、难以工程实现。 - 原始内容:FFM模型在FM模型的基础上引入了特征域的概念,在做特征交叉时,每个特征选择与对方域对应的隐向量做内积运算,得到交叉特征的权重,在有 n个特征,f个特征域,隐向量维度为k的前提下,参数数量共n·k·f个