知识卡片
LS-PLM优势与深度学习视角
LS-PLM适合工业级大规模稀疏推荐广告场景,靠两点优势。一是端到端的非线性学习:分片能力让它挖掘数据中蕴藏的非线性模式,省去大量人工样本处理与特征工程,可用一个全局模型统一建模不同业务场景。二是模型稀疏性强:引入L1、L2范数使权重高度稀疏,服务时只需用非零权重特征,部署更轻量、在线推断更快;L1比L2更易产生稀疏解,是因为L1的菱形等高线更容易与损失曲线在顶点相交,使其余维度权重归零。从深度学习视角看,LS-PLM相当于加了注意力机制的三层神经网络:输入层是特征向量,隐层是m个分片神经元,输出层单神经元,隐层到输出层的权重由分片函数给出的注意力得分(属于某分片的概率)确定。正因如此,它成为连接传统与深度学习时代的节点。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第2章 前深度学习时代——推荐系统的进化之路 · 查看原书依据
LS-PLM可以看作一个加入了注意力(Attention)机制的三层神经网络模型,其中输入层是样本的特征向量,中间层是由 m 个神经元组成的隐层,其中 m 是分片的个数,对于一个CTR预估问题,LS-PLM的最后一层自然是由单一神经元组成的输出层
参考来源
- 位置:《深度学习推荐系统》第2章 前深度学习时代——推荐系统的进化之路(源文件:extracted/深度学习推荐系统/_epub-src/text/part0006_split_007.html)
- 结论依据:原文分条列出LS-PLM端到端非线性学习与稀疏性两点优势,解释L1比L2更易稀疏的几何原因,并从三层神经网络与注意力角度重新诠释其结构。
- 原始内容:LS-PLM可以看作一个加入了注意力(Attention)机制的三层神经网络模型,其中输入层是样本的特征向量,中间层是由 m 个神经元组成的隐层,其中 m 是分片的个数,对于一个CTR预估问题,LS-PLM的最后一层自然是由单一神经元组成的输出层