← 返回刚才阅读的位置

知识卡片

结构图卡 · 7263.b · 生成模型:WorkBuddy (Claude)

Wide&Deep宽深混合结构

理解等级:中级

Wide&Deep(WDL)是首个把特征工程与深度学习结合的模型,其核心思想是让“宽度侧”提供记忆能力、“深度侧”提供泛化能力,二者联合训练。宽度侧一般放 LR 或 FM,并用人工交叉特征(交叉积变换)去记忆历史中高频共现的模式;深度侧把特征 Embedding 化后送入多层 DNN,自动学习特征的交叉组合,从而获得泛化。

宽度侧用 FTRL 优化器以产生稀疏解、压缩模型体积(高维稀疏特征不宜每个都取上千维 Embedding,可缩小到几十维);深度侧用 AdaGrad。WDL 的出现让深度学习在高维稀疏推荐场景大规模落地,也是后续 DeepFM、DCN 等模型的基础框架。它与 [[FM因子分解机稀疏交叉]] 共享“宽度侧做交叉”的思想,区别是 FM 自动学交叉而 WDL 宽度侧依赖人工交叉。

结构图:

flowchart LR
  A[稀疏特征] --> B[宽度侧: LR/FM + 人工交叉积变换]
  A --> C[深度侧: Embedding + 多层DNN]
  B --> D[Sigmoid 联合输出]
  C --> D
  D --> E[FTRL 训练宽度侧 / AdaGrad 训练深度侧]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《推荐系统全链路设计:原理解读与业务实践》第8章《精排层的样本选择和模型选择》(来源项目book-sources;extracted/推荐系统全链路设计:原理解读与业务实践/_epub-src/converter-master/example/312287/86.html;src-048) - 结论依据:原文说明 WDL 宽度侧提供记忆力(LR/FM+交叉积变换)、深度侧提供泛化,宽度用 FTRL 产生稀疏解、深度用 AdaGrad,并对高维稀疏特征采用分组 Embedding 缩小参数。 - 原始内容:2.深度部分 深度部分就很简单了,就是一个多层的DNN,先将特征Embedding化,然后通过多层DNN输出结果,公式如下: a ( l +1) = f ( W ( l ) a ( l ) + b ( l ) ) 3.WDL WDL可将宽度输出和深度输出组合在一起,表示如下: 对