知识卡片
Cross网络替代Wide部分
Deep&Cross用Cross网络替换需要人工组合的Wide部分,延续了Wide&Deep的双路思路。Cross网络由多层交叉层堆叠而成,每层的二阶计算类似外积但增加了权重向量与偏置,并保留原始输入向量;关键克制之处在于每层只新增一个n维权重向量,输出与输入变化不大,参数开销很小。这样它就能自动完成Wide部分原本靠业务理解手工设计的特征组合,减少人工特征工程。Deep部分保持不变,仍提供更强的非线性学习。可迁移的启发是:想自动化某类人工特征时,可用参数受控的显式交叉层替代,而不是盲目加深网络。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第3章 浪潮之巅——深度学习在推荐系统中的应用 · 查看原书依据
可以看出,交叉层在增加参数方面是比较“克制”的,每一层仅增加了一个n维的权重向量wl(n维输入向量维度),并且在每一层均保留了输入向量,因此输出与输入之间的变化不会特别明显。
参考来源
- 位置:《深度学习推荐系统》第3章 浪潮之巅——深度学习在推荐系统中的应用(源文件:extracted/深度学习推荐系统/_epub-src/text/part0007_split_006.html)
- 结论依据:原文说明Cross网络用交叉层替代Wide部分、每层只增一个n维权重向量并避免人工特征组合。
- 原始内容:可以看出,交叉层在增加参数方面是比较“克制”的,每一层仅增加了一个n维的权重向量wl(n维输入向量维度),并且在每一层均保留了输入向量,因此输出与输入之间的变化不会特别明显。