知识卡片

结构图卡 · 7263.f · 生成模型:WorkBuddy (Claude)

DCN与DCNv2交叉网络

理解等级:高级

DCN(Deep & Cross Network)是 Google 提出的“DNN + 特征交叉”模型,核心是一个交叉网络(Cross Network)。其每一层用公式 x_{l+1} = x_0 ⊙ (W_l x_l + b_l) + x_l 更新:把初始向量 x_0 与当前层 x_l 做向量外积,得到所有元素的交叉组合,层层叠加就能得到有界阶的组合特征——叠 l 层最高可达到 l+1 阶交叉。时间和空间复杂度都是 O(d·Lc),避免了高维交叉带来的复杂度爆炸。

DCNv2 认为原交叉网络表达力不足,做了两点增强:一是用低秩分解把稠密权重矩阵拆成 U_l、V_l(r≪d)降低计算成本;二是在交叉迭代中引入 MOE(专家组合)结构,让不同子空间的专家网络分别提取特征交互。DCNv2 有 stacked(交叉与 DNN 串联)和 parallel(并行后拼接)两种结构,无绝对优劣,需实验取舍。与 [[XDeepFM的CIN向量交叉]] 相比,DCN 是 bit-wise(以单个元素为粒度),而后者强调 vector-wise。

结构图:

flowchart TD
  A[Embedding & Stacking] --> B[交叉网络层: x0⊙(Wl·xl+bl)+xl]
  A --> C[深度网络层 DNN]
  B --> D[拼接]
  C --> D
  D --> E[输出层 Sigmoid]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《推荐系统全链路设计:原理解读与业务实践》第8章《精排层的样本选择和模型选择》(来源项目book-sources;extracted/推荐系统全链路设计:原理解读与业务实践/_epub-src/converter-master/example/312287/89.html;src-049) - 结论依据:原文给出 DCN 交叉网络逐层外积公式、复杂度 O(dLc),并说明 DCNv2 通过低秩分解与 MOE 增强交叉表达、提供 stacked/parallel 两种结构。 - 原始内容:3.XDeepFM XDeepFM的结构来源于WDL,只是在WDL的基础上加入了CIN(Compressed Interaction Network,压缩交互网络)结构,CIN结构如图8-14所示