知识卡片

普通读书笔记卡 · 9906.a · 生成模型:Hunyuan

Embedding对深度推荐的三大价值

理解等级:中级

Embedding在深度学习推荐系统里有三个不可替代的作用。第一,类别型和id型特征通常被编码成one-hot,导致样本极度稀疏,而深度网络不擅长处理稀疏输入,Embedding层负责把它们压成低维稠密向量,这是构建模型的基础操作。第二,Embedding本身就是很强的特征向量,相比矩阵分解产生的隐向量表达能力更强,Graph Embedding出现后几乎可以把任意信息编码进去,常与其他特征拼接后送入网络。第三,用户与物品Embedding的相似度计算天然适合做召回,配合局部敏感哈希等最近邻搜索技术,可以从海量候选中快速初筛出几百到几千个物品再交给深度网络精排。因此掌握各类Embedding方法是构建深度学习推荐系统的前提。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第4章 Embedding技术在推荐系统中的应用 · 查看原书依据

      推荐场景中大量使用 one-hot编码对类别、id 型特征进行编码,导致样本特征向量极度稀疏,而深度学习的结构特点使其不利于稀疏特征向量的处理,因此几乎所有深度学习推荐模型都会由 Embedding层负责将高维稀疏特征向量转换成稠密低维特征向量。

    参考来源

    - 位置:《深度学习推荐系统》第4章 Embedding技术在推荐系统中的应用(源文件:extracted/深度学习推荐系统/_epub-src/text/part0008_split_001.html) - 结论依据:原文4.1.3节分三点论证了Embedding的重要性,分别对应稀疏转稠密、强特征向量和召回层初筛,并点出局部敏感哈希让海量候选的快速初筛成为可能。 - 原始内容:推荐场景中大量使用 one-hot编码对类别、id 型特征进行编码,导致样本特征向量极度稀疏,而深度学习的结构特点使其不利于稀疏特征向量的处理,因此几乎所有深度学习推荐模型都会由 Embedding层负责将高维稀疏特征向量转换成稠密低维特征向量。