← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 7263.g · 生成模型:WorkBuddy (Claude)

XDeepFM的CIN向量交叉

理解等级:高级

XDeepFM 在 WDL 框架上加入 CIN(Compressed Interaction Network,压缩交互网络),用来弥补 DCN 交叉网络的不足。DCN 的交叉网络接在 Embedding 之后,把类别 A、B 的 Embedding 拼接后直接以单个 bit 为粒度(bit-wise)计算,模型意识不到“[a,b,c] 整体属于类别 A”。而 CIN 把粒度从 bit-wise 提升为 vector-wise,让模型保留“域(Field)”的概念。

CIN 的每层输入是一个 m×D 的矩阵(m 为域数、D 为维度),每一层只含某一阶的特征组合;计算时用上一层矩阵与初始矩阵做 vector-wise 乘法得到三维张量,再用权重矩阵沿最后一维做加权求和,得到 D 维向量,逐层拼接后做求和聚合,最终与 LR、DNN 结果拼接经 Sigmoid 输出。CIN 的鲁棒性更好,但计算复杂度达到 O(n²),上线压力很大,是工程落地的难点。可与 [[DCN与DCNv2交叉网络]] 对照理解 bit-wise 与 vector-wise 的差异。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《推荐系统全链路设计:原理解读与业务实践》第8章《精排层的样本选择和模型选择》(来源项目book-sources;extracted/推荐系统全链路设计:原理解读与业务实践/_epub-src/converter-master/example/312287/89.html;src-049) - 结论依据:原文指出 DCN 是 bit-wise 而 CIN 扩展为 vector-wise 以保留域概念,并说明 CIN 逐层聚合的计算流程及其 O(n²) 高复杂度。 - 原始内容:3.XDeepFM XDeepFM的结构来源于WDL,只是在WDL的基础上加入了CIN(Compressed Interaction Network,压缩交互网络)结构,CIN结构如图8-14所示