知识卡片
POLY2到FFM演化
从POLY2到FM再到FFM,是一条“交叉权重如何表示”不断精化的路线。POLY2为每个交叉项独立学一个权重,参数n²量级,稀疏数据下难以收敛;FM把每个交叉项拆成两个特征各一个k维隐向量的内积,参数降到n·k,牺牲精确记忆换取强泛化;FFM再给每个特征按域配备一组隐向量,交叉时按对方域选取,参数升到n·k·f,表达能力最强但复杂度也最高。三者并非简单替代:记忆能力与泛化能力此消彼长,参数与算力开销逐步上升。理论上这条路线还能延伸到三阶乃至更高阶交叉,但组合爆炸使三阶FM难以工程实现,这正引出用GBDT自动做高阶特征组合的思路。
结构图:
flowchart LR
A[POLY2] -->|特征两两交叉 权重n平方| B[FM]
B -->|每个特征一个k维隐向量 权重nk| C[FFM]
C -->|按对方特征域选取隐向量 权重n乘k乘f| D[高阶交叉受限]
D -->|组合爆炸| E[GBDT自动组合特征]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第2章 前深度学习时代——推荐系统的进化之路 · 查看原书依据
FFM模型在FM模型的基础上引入了特征域的概念,在做特征交叉时,每个特征选择与对方域对应的隐向量做内积运算,得到交叉特征的权重,在有 n个特征,f个特征域,隐向量维度为k的前提下,参数数量共n·k·f个
参考来源
- 位置:《深度学习推荐系统》第2章 前深度学习时代——推荐系统的进化之路(源文件:extracted/深度学习推荐系统/_epub-src/text/part0006_split_005.html)
- 结论依据:原文用图2-12至图2-14对比三者的权重表示与参数数量,并指出三阶FM受组合爆炸限制、难以工程实现。
- 原始内容:FFM模型在FM模型的基础上引入了特征域的概念,在做特征交叉时,每个特征选择与对方域对应的隐向量做内积运算,得到交叉特征的权重,在有 n个特征,f个特征域,隐向量维度为k的前提下,参数数量共n·k·f个