知识卡片
Wide&Deep宽深混合结构
Wide&Deep(WDL)是首个把特征工程与深度学习结合的模型,其核心思想是让“宽度侧”提供记忆能力、“深度侧”提供泛化能力,二者联合训练。宽度侧一般放 LR 或 FM,并用人工交叉特征(交叉积变换)去记忆历史中高频共现的模式;深度侧把特征 Embedding 化后送入多层 DNN,自动学习特征的交叉组合,从而获得泛化。
宽度侧用 FTRL 优化器以产生稀疏解、压缩模型体积(高维稀疏特征不宜每个都取上千维 Embedding,可缩小到几十维);深度侧用 AdaGrad。WDL 的出现让深度学习在高维稀疏推荐场景大规模落地,也是后续 DeepFM、DCN 等模型的基础框架。它与 [[FM因子分解机稀疏交叉]] 共享“宽度侧做交叉”的思想,区别是 FM 自动学交叉而 WDL 宽度侧依赖人工交叉。
结构图:
flowchart LR
A[稀疏特征] --> B[宽度侧: LR/FM + 人工交叉积变换]
A --> C[深度侧: Embedding + 多层DNN]
B --> D[Sigmoid 联合输出]
C --> D
D --> E[FTRL 训练宽度侧 / AdaGrad 训练深度侧]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 精排层的样本选择和模型选择 8.1 传统DNN建模 · 查看原书依据
2.深度部分 深度部分就很简单了,就是一个多层的DNN,先将特征Embedding化,然后通过多层DNN输出结果,公式如下: a ( l +1) = f ( W ( l ) a ( l ) + b ( l ) ) 3.WDL WDL可将宽度输出和深度输出组合在一起,表示如下: 对
参考来源
- 位置:《推荐系统全链路设计:原理解读与业务实践》第8章《精排层的样本选择和模型选择》(来源项目book-sources;extracted/推荐系统全链路设计:原理解读与业务实践/_epub-src/converter-master/example/312287/86.html;src-048)
- 结论依据:原文说明 WDL 宽度侧提供记忆力(LR/FM+交叉积变换)、深度侧提供泛化,宽度用 FTRL 产生稀疏解、深度用 AdaGrad,并对高维稀疏特征采用分组 Embedding 缩小参数。
- 原始内容:2.深度部分 深度部分就很简单了,就是一个多层的DNN,先将特征Embedding化,然后通过多层DNN输出结果,公式如下: a ( l +1) = f ( W ( l ) a ( l ) + b ( l ) ) 3.WDL WDL可将宽度输出和深度输出组合在一起,表示如下: 对