知识卡片
CTR模型从特征走向模型
2012 年前后工业界的主流是 MLR(Mixed Logistic Regression,混合逻辑回归):本质是把多个 LR(逻辑回归)组合起来,用分片线性的方式去拟合高维空间里的非线性模式,配套的是「大规模离散特征 + 分布式非线性训练」。它的问题集中在三点:特征从数百维统计量膨胀到数十亿离散 ID,训练架构要重做;分片线性能否同时具备拟合能力与泛化能力存疑;这种规模上的非凸优化本身很难解。
到 2015 年,数据量和样本量继续增长,又要引入高阶特征,线性加人工交叉的代价变得不可接受。2016 年阿里把端到端的深度网络 GWEN 用到 CTR 预估,得到第一代 Deep CTR 模型。
这之后业界分成两条思路。一条是以 PNN、DeepFM、DCN、xDeepFM 为代表的「代数先验」路线:用人工构造的交叉结构把「哪些特征该相乘」这一认知写进网络,等于把特征工程搬到结构里。另一条是围绕用户兴趣建模:DIN 用注意力捕捉兴趣的多样性以及与预测目标的局部相关性(买鞋时只看历史里与鞋相关的行为),DIEN 进一步建模兴趣随时间的演化。
真正的分水岭不是模型名字,而是工作重心的转移:前者特征驱动,靠人设计特征;后者数据驱动,靠样本和结构学表示,特征工程的负担下降,但对样本量、训练算力和在线推理延迟的要求上升。
参见 [[粗排与精排的分工由算力预算决定]]。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第12章 推荐应用实战:基于广告的推荐 · 查看原书依据
MLR的本质是由多个LR模型组合而成,用分片线性模式来拟合高维空间的非线性模式。当时,只有阿里采用了“大规模离散特征+分布式非线性MLR模型”。
参考来源
- 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第12章 推荐应用实战:基于广告的推荐(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0161.html)
- 结论依据:原文点明 MLR 的结构本质与其配套的大规模离散特征方案,为随后「为何被深度模型取代」的演化叙述提供起点。
- 原始内容:MLR的本质是由多个LR模型组合而成,用分片线性模式来拟合高维空间的非线性模式。当时,只有阿里采用了“大规模离散特征+分布式非线性MLR模型”。