知识卡片
DCN与DCNv2交叉网络
DCN(Deep & Cross Network)是 Google 提出的“DNN + 特征交叉”模型,核心是一个交叉网络(Cross Network)。其每一层用公式 x_{l+1} = x_0 ⊙ (W_l x_l + b_l) + x_l 更新:把初始向量 x_0 与当前层 x_l 做向量外积,得到所有元素的交叉组合,层层叠加就能得到有界阶的组合特征——叠 l 层最高可达到 l+1 阶交叉。时间和空间复杂度都是 O(d·Lc),避免了高维交叉带来的复杂度爆炸。
DCNv2 认为原交叉网络表达力不足,做了两点增强:一是用低秩分解把稠密权重矩阵拆成 U_l、V_l(r≪d)降低计算成本;二是在交叉迭代中引入 MOE(专家组合)结构,让不同子空间的专家网络分别提取特征交互。DCNv2 有 stacked(交叉与 DNN 串联)和 parallel(并行后拼接)两种结构,无绝对优劣,需实验取舍。与 [[XDeepFM的CIN向量交叉]] 相比,DCN 是 bit-wise(以单个元素为粒度),而后者强调 vector-wise。
结构图:
flowchart TD
A[Embedding & Stacking] --> B[交叉网络层: x0⊙(Wl·xl+bl)+xl]
A --> C[深度网络层 DNN]
B --> D[拼接]
C --> D
D --> E[输出层 Sigmoid]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 精排层的样本选择和模型选择 8.2 交叉模型 · 查看原书依据
3.XDeepFM XDeepFM的结构来源于WDL,只是在WDL的基础上加入了CIN(Compressed Interaction Network,压缩交互网络)结构,CIN结构如图8-14所示
参考来源
- 位置:《推荐系统全链路设计:原理解读与业务实践》第8章《精排层的样本选择和模型选择》(来源项目book-sources;extracted/推荐系统全链路设计:原理解读与业务实践/_epub-src/converter-master/example/312287/89.html;src-049)
- 结论依据:原文给出 DCN 交叉网络逐层外积公式、复杂度 O(dLc),并说明 DCNv2 通过低秩分解与 MOE 增强交叉表达、提供 stacked/parallel 两种结构。
- 原始内容:3.XDeepFM XDeepFM的结构来源于WDL,只是在WDL的基础上加入了CIN(Compressed Interaction Network,压缩交互网络)结构,CIN结构如图8-14所示