知识卡片
DLRM的分层模型结构
DLRM是Facebook 2019年公开的深度学习推荐模型,结构标准而克制,没有注意力、序列或强化学习等复杂构件。它把特征分为类别/id类的稀疏特征与数值型连续特征:稀疏特征经Embedding层转成n维向量,连续特征拼接后经MLP也转成n维向量。Embedding之上可选择性叠加神经网络层做进一步变换,是否引入由调参和性能评估决定。特征交互层把各Embedding两两做内积(与PNN思路一致),再与连续特征的向量拼接,送入上层MLP,最后用sigmoid输出CTR。启示是海量数据下简单标准的结构往往就能发挥作用,是传统模型转向深度学习的良好起点。
结构图:
flowchart TD
F[特征 Features] --> S[稀疏特征 Sparse one-hot]
F --> D[连续特征 Dense]
S --> E[Embedding层 转n维向量]
D --> M1[MLP 转n维向量]
E --> N[可选NNs层]
N --> I[特征交互层 两两内积]
M1 --> I
I --> M2[上层MLP 目标拟合]
M2 --> O[sigmoid 输出CTR]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第8章 深度学习推荐系统的前沿实践 · 查看原书依据
所有特征被分为两类:一类是将类别、id 类特征用 one-hot编码生成的稀疏特征(sparse features);另一类是数值型连续特征(dense features)。
参考来源
- 位置:《深度学习推荐系统》第8章 深度学习推荐系统的前沿实践(源文件:extracted/深度学习推荐系统/_epub-src/text/part0012_split_001.html)
- 结论依据:原文描述了DLRM的特征二分、Embedding层、可选的NNs层、两两内积的interactions层与sigmoid输出,并强调其标准与不复杂。
- 原始内容:所有特征被分为两类:一类是将类别、id 类特征用 one-hot编码生成的稀疏特征(sparse features);另一类是数值型连续特征(dense features)。