知识卡片
XDeepFM的CIN向量交叉
XDeepFM 在 WDL 框架上加入 CIN(Compressed Interaction Network,压缩交互网络),用来弥补 DCN 交叉网络的不足。DCN 的交叉网络接在 Embedding 之后,把类别 A、B 的 Embedding 拼接后直接以单个 bit 为粒度(bit-wise)计算,模型意识不到“[a,b,c] 整体属于类别 A”。而 CIN 把粒度从 bit-wise 提升为 vector-wise,让模型保留“域(Field)”的概念。
CIN 的每层输入是一个 m×D 的矩阵(m 为域数、D 为维度),每一层只含某一阶的特征组合;计算时用上一层矩阵与初始矩阵做 vector-wise 乘法得到三维张量,再用权重矩阵沿最后一维做加权求和,得到 D 维向量,逐层拼接后做求和聚合,最终与 LR、DNN 结果拼接经 Sigmoid 输出。CIN 的鲁棒性更好,但计算复杂度达到 O(n²),上线压力很大,是工程落地的难点。可与 [[DCN与DCNv2交叉网络]] 对照理解 bit-wise 与 vector-wise 的差异。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 精排层的样本选择和模型选择 8.2 交叉模型 · 查看原书依据
3.XDeepFM XDeepFM的结构来源于WDL,只是在WDL的基础上加入了CIN(Compressed Interaction Network,压缩交互网络)结构,CIN结构如图8-14所示
参考来源
- 位置:《推荐系统全链路设计:原理解读与业务实践》第8章《精排层的样本选择和模型选择》(来源项目book-sources;extracted/推荐系统全链路设计:原理解读与业务实践/_epub-src/converter-master/example/312287/89.html;src-049)
- 结论依据:原文指出 DCN 是 bit-wise 而 CIN 扩展为 vector-wise 以保留域概念,并说明 CIN 逐层聚合的计算流程及其 O(n²) 高复杂度。
- 原始内容:3.XDeepFM XDeepFM的结构来源于WDL,只是在WDL的基础上加入了CIN(Compressed Interaction Network,压缩交互网络)结构,CIN结构如图8-14所示