此笔记位置已失效,请从目录继续阅读。
全书导读
《深度学习推荐系统》是王喆写给推荐系统工程师的实践指南。它不追求推导深度学习模型的数学细节,而是回答一个更工程的问题:在真实的互联网业务里,推荐系统怎么一步步从协同过滤走到深度学习,每个模型解决了什么痛点,又付出了什么代价。全书的主线可以用一句话概括——推荐系统是互联网的增长引擎,而深度学习正在重写它的每一次迭代。这一判断在[[推荐系统的双重引擎定位]]与[[推荐系统的深度学习时代]]中被明确提出。
本书的结构是从”是什么”到”怎么建”再到”怎么用到极致”:第1章给出推荐系统的整体定位与架构,第2章回顾前深度学习时代的经典模型,第3章进入深度学习推荐模型的浪潮,第4章专讲作为核心操作的 Embedding 技术,第5章从特征、召回、实时性、目标、冷启动、探索等多角度审视系统,第6章讨论工程实现,第7章讲评估体系,第8章剖析四家公司的前沿实践,第9章收束为知识框架。本书定位与读者群见[[本书定位与读者群]]。
读这本书要抓住一个工程思维:没有”最好”的模型,只有”合适”的方案。作者反复强调,模型的演化不是后者简单替代前者,而是在特定业务约束下的权衡——[[合适优于正确的工程观]]、[[模型选择需贴合业务]]点明了这一点。例如矩阵分解用隐向量解决协同过滤的稀疏问题([[矩阵分解的隐向量原理]]),Wide&Deep 用双路结构兼顾记忆与泛化([[WideDeep的记忆泛化分工]]),Embedding 以 denser 的表示支撑召回([[Embedding对深度推荐的三大价值]])。每一步改进都能找到它要解决的问题。
对读者而言,最有价值的不是记住某个模型的结构,而是理解[[传统推荐模型演化全景]]与[[深度学习推荐模型演化图谱]]背后的逻辑:约束—痛点—改进—代价。带着这条线索读,零散的模型会连成一张有因果的演化图。
全书主线
全书沿着”定位→模型演化→核心技术→系统视角→工程落地→评估→实战→框架”八段展开。
第一段:推荐系统的定位与架构(第1章)。 作者先把推荐系统放到业务增长的位置上:[[推荐系统的双重引擎定位]]说明它既满足用户需求又驱动商业目标,[[推荐优化目标随业务而变]]提醒目标设定要贴合业务。技术上,[[推荐系统的逻辑框架]]与[[召回排序再排序三层结构]]给出经典架构,[[数据流三级平台与三出口]]说明数据如何流动,[[离线训练在线更新与评估]]勾勒系统闭环。
第二段:前深度学习时代的模型演化(第2章)。 从[[传统推荐模型演化全景]]出发,本章逐一拆解:协同过滤用共现矩阵与用户相似度([[协同过滤的共现矩阵流程]]、[[用户相似度三种计算法]]),但有头部效应缺陷([[协同过滤的头部效应缺陷]]);矩阵分解用隐向量捕捉潜在偏好([[矩阵分解的隐向量原理]]、[[矩阵分解的偏差项与优劣]]);逻辑回归把推荐变成 CTR 预估([[逻辑回归的CTR预估流程]]),却受制于特征交叉难题——[[辛普森悖论与特征交叉]]揭示交叉的必要,[[FM隐向量特征交叉]]、[[FFM特征域感知交叉]]、[[GBDT+LR组合模型结构]]、[[LS-PLM分片逻辑回归]]给出不同解法。[[POLY2到FFM演化]]、[[特征工程模型化趋势]]串起这条”让模型自动做特征”的线索。
第三段:深度学习模型浪潮(第3章)。 [[深度学习推荐模型演化图谱]]是本章地图。[[AutoRec自编码器推荐原理]]用自编码器做推荐,[[DeepCrossing完整深度学习架构]]给出端到端框架,[[残差单元缓解梯度消失]]解决深网训练;[[NeuralCF神经网络协同过滤]]把矩阵分解神经网络化,[[PNN乘积层特征交叉]]加强交叉;[[WideDeep的记忆泛化分工]]与[[WideDeep双路融合结构]]是里程碑,后续[[Cross网络替代Wide部分]]、[[DeepFM以FM替代Wide部分]]、[[FNN用FM隐向量初始化]]、[[NFM特征交叉池化层]]、[[AFM注意力加权交叉特征]]沿不同方向改进;[[DIN目标感知的注意力网络]]、[[DIEN兴趣进化网络]]把注意力与序列引入推荐,[[DRN强化学习推荐框架]]则用强化学习处理在线决策。作者以[[模型选择需贴合业务]]收尾。
第四段:Embedding 核心操作(第4章)。 [[Embedding本质与词向量]]讲清概念,[[Embedding对深度推荐的三大价值]]说明它为何是深度推荐的核心操作。方法上从[[Word2vec训练与查找表]]、[[Word2vec负采样训练]]到[[Item2vec与Word2vec之别]]、[[广义Item2vec与双塔]],再到图嵌入[[DeepWalk随机游走]]、[[Node2vec同质性与结构性]]、[[EGES补充信息融合]]。落地时有[[Embedding层与预训练权衡]]、[[Embedding作为召回层]]与[[LSH分桶与多桶策略]]。
第五段:多角度审视系统(第5章)。 模型之外,系统表现还取决于[[特征工程的信息保留原则]]、[[召回与排序的两阶段分工]]、[[实时性的重要性证据]]、[[优化目标的设定原则]]、[[冷启动三类与两大思路]]与[[探索与利用的本质]]。[[隐性反馈为何成为特征重点]]、[[多路召回策略]]、[[ESMM多目标优化]]、[[LinUCB与DRN探索]]等把每个维度落到具体做法。
第六段:工程实现与评估(第6–7章)。 工程上,[[Lambda架构流批双通道]]与[[Kappa架构以流代批]]给出数据流方案,[[参数服务器的push与pull]]、[[TensorFlow单机与分布式训练]]解决训练扩展,[[预训练Embedding加轻量模型]]、[[PMML与TF Serving部署]]处理上线。评估上,[[离线评估三种数据划分法]]、[[P-R曲线与AUC评估]]、[[A/B测试不可替代性]]、[[Interleaving快速线上评估]]构成[[推荐系统多层评估体系]]。
第七段:前沿实践与收束(第8–9章)。 第8章用 Facebook([[精准CTR预估的物理意义]])、Airbnb([[预订行为融入房源Embedding]])、YouTube([[YouTube两阶段推荐架构]]、[[Example Age编码内容新鲜度]])、阿里巴巴([[阿里推荐模型四阶段进化]])四个案例展示原理如何落地。第9章以[[合适优于正确的工程观]]和[[推荐工程师四项能力]]收束全书。
这条主线始终是”问题驱动”的:每个模型都是对前序模型某个缺陷的回应,每项工程选择都是约束下的权衡。读懂权衡,就读懂了这本书。
前言
前言为全书定下基调,回答了「这是一本什么书、写给谁、为什么写」。在「推荐系统的深度学习时代」一节,作者回顾了领域的关键节点:1992年David Goldberg等用协同过滤搭建推荐系统,标志领域开端;2012年AlexNet在ImageNet夺魁,深度学习席卷图像、语音与自然语言处理,也波及推荐、广告、搜索;2015年微软、谷歌、百度、阿里等把深度学习落地到推荐与广告业务,推荐系统正式进入深度学习时代,参见推荐系统的深度学习时代。作者称身处其中的工程师既幸运又不幸——见证最迅猛的变革,也随时面临被淘汰——因此希望本书成为读者的思维导图,帮助搭建技术框架。「本书缘起」交代动机:作者早有结构化整理推荐系统知识的愿望,又逢电子工业出版社郑柳洁编辑邀约;此前他刚与Hulu同事完成《百面机器学习》,体会到认真写技术内容能让读者受益;八年的推荐与广告从业经历,使他最终选定深度学习推荐系统这一主题。「本书特色」界定边界:讨论经典或前沿的技术,着重深度学习在业界的应用;既不是机器学习或深度学习入门书(默认读者已有一定基础),也不是纯理论书,而是从工程师实际经验出发的实践型技术书,详见本书定位与读者群。「本书读者群」分两类:推荐、广告、搜索从业者,期望厘清关键模型与技术细节并在工作中应用改进;有一定机器学习基础、想进入该领域的学生与爱好者,期望从零构建前沿实用的知识体系。「欢迎交流」与「致谢」强调知识迭代迅速、欢迎读者反馈,并感谢同行、编辑与家人。全书后续章节将沿着「发展脉络—模型细节—工程实践—前沿应用」的线索展开。
原书依据 · 2 处
第1章 互联网的增长引擎——推荐系统
本章是全书的总览,围绕“推荐系统为什么是互联网的增长引擎”和“推荐系统如何构建”两条主线展开。在1.1节,作者先从用户与公司两个视角定位推荐系统的价值:对用户,它化解信息过载、高效筛选感兴趣内容;对公司,它提升留存、黏性与转化率,支撑商业目标持续增长,两者是同一问题的两面,详见推荐系统的双重引擎定位。与搜索不同,推荐发生在用户需求尚不明确之时,系统靠历史信息“猜测”偏好,这是推荐问题的基本假设。落到优化目标上,不同业务各有侧重:YouTube把用户体验与广告收入统一到“观看时长”,用深度模型预测时长后排序;天猫则以转化率为核心,用“千人千面”全面个性化直接拉动成交额,参见推荐优化目标随业务而变。
1.2节转入架构。作者先把推荐问题归结为“人”与“信息”的关系,把信息归为物品信息,把人的信息归为用户信息,再补充时间、地点、状态等场景(上下文)信息,由此形式化出f(U,I,C):预测用户对候选物品的喜好程度并排序生成列表,这一抽象框架是全书技术体系的起点,见推荐系统的逻辑框架。工程上,框架被拆成数据与模型两部分:数据部分按实时性由强到弱组织客户端与服务器端实时处理、流处理准实时处理、大数据离线处理三类平台,并将加工结果输出为样本、特征和统计型数据,见数据流三级平台与三出口;模型部分则由召回层、排序层、再排序层接力完成模型服务,详见召回排序再排序三层结构。在线服务之前要完成训练,离线训练逼近全局最优,在线更新追求实时适应,再配合离线评估与线上A/B测试驱动迭代,见离线训练在线更新与评估。
1.2.5节进一步点明深度学习的革命性贡献:它提升了拟合与特征组合能力,模型结构也更灵活,但同时对海量数据的实时处理提出新挑战。这为后续章节埋下伏笔——第2、3章讲排序模型从传统到深度的演化,第4章讲Embedding,第5至7章补充实时性、特征工程、工程实现与评估,第8章用YouTube、Airbnb等前沿实践融会贯通。作者建议以“把握整体,补充细节”的方式阅读全书。
第2章 前深度学习时代——推荐系统的进化之路
本章沿着前深度学习时代推荐模型的进化脉络,逐一讲清各模型解决什么问题、结构如何、相对前序模型的改进与代价。开篇用传统推荐模型演化全景作全章索引,把脉络归为协同过滤、逻辑回归、因子分解机和组合模型四条主线。
协同过滤部分从协同过滤的共现矩阵流程讲起:把用户—物品—评价转成共现矩阵,再找相似用户加权评分排序;其中相似度是核心,用户相似度三种计算法对比了余弦相似度、皮尔逊相关系数及物品平均分修正。但UserCF有存储与稀疏用户两大硬伤,UserCF局限与ItemCF给出改用物品相似度的解法并区分了新闻与电商视频的适用场景。更根本的问题是协同过滤的头部效应缺陷——热门物品占优、冷门物品无曝光,且无法引入多类特征,这直接催生了矩阵分解与逻辑回归两条路线。
矩阵分解用隐向量改写共现矩阵,矩阵分解的隐向量原理解释了R=U×V与维度k的权衡;SVD缺陷与梯度下降求解说明SVD因要求稠密、复杂度O(mn²)被弃用,梯度下降成为主流解法;矩阵分解的偏差项与优劣补充了消除打分偏差的做法,并总结其泛化强、空间低却无法融合特征的优劣。逻辑回归则把推荐转成CTR预估,逻辑回归的CTR预估流程给出四步流程与sigmoid推断,逻辑回归流行三大原因从数学、可解释、工程三方面解释其长期主流,而其不能交叉的短板由辛普森悖论与特征交叉给出反面例证。
特征交叉线上,POLY2的暴力交叉与缺陷、FM隐向量特征交叉、FFM特征域感知交叉层层递进,POLY2到FFM演化用结构图串起记忆与泛化的权衡。为突破二阶交叉限制,GBDT+LR组合模型结构与GBDT叶子节点特征转换展示了用树模型自动做特征组合与转换的做法,其更大意义在于特征工程模型化趋势所开启的端到端训练。最后是阿里LS-PLM分片逻辑回归,以及LS-PLM优势与深度学习视角对其端到端非线性、稀疏性与“注意力三层网络”结构的重审。整章以传统模型与深度学习的承接关系收束:隐向量通向Embedding,特征交叉被发扬,特征工程模型化成为深度学习的引子。
原书依据 · 20 处
- 第2章 前深度学习时代——推荐系统的进化之路 · 查看原书依据
- 第2章 前深度学习时代——推荐系统的进化之路 · 查看原书依据
- 第2章 前深度学习时代——推荐系统的进化之路 · 查看原书依据
- 第2章 前深度学习时代——推荐系统的进化之路 · 查看原书依据
- 第2章 前深度学习时代——推荐系统的进化之路 · 查看原书依据
- 第2章 前深度学习时代——推荐系统的进化之路 · 查看原书依据
- 第2章 前深度学习时代——推荐系统的进化之路 · 查看原书依据
- 第2章 前深度学习时代——推荐系统的进化之路 · 查看原书依据
- 第2章 前深度学习时代——推荐系统的进化之路 · 查看原书依据
- 第2章 前深度学习时代——推荐系统的进化之路 · 查看原书依据
- 第2章 前深度学习时代——推荐系统的进化之路 · 查看原书依据
- 第2章 前深度学习时代——推荐系统的进化之路 · 查看原书依据
- 第2章 前深度学习时代——推荐系统的进化之路 · 查看原书依据
- 第2章 前深度学习时代——推荐系统的进化之路 · 查看原书依据
- 第2章 前深度学习时代——推荐系统的进化之路 · 查看原书依据
- 第2章 前深度学习时代——推荐系统的进化之路 · 查看原书依据
- 第2章 前深度学习时代——推荐系统的进化之路 · 查看原书依据
- 第2章 前深度学习时代——推荐系统的进化之路 · 查看原书依据
- 第2章 前深度学习时代——推荐系统的进化之路 · 查看原书依据
- 第2章 前深度学习时代——推荐系统的进化之路 · 查看原书依据
第3章 浪潮之巅——深度学习在推荐系统中的应用
本章先用深度学习推荐模型演化图谱摊开全局,指出所有模型都以MLP为内核、只是在不同部位做改造。最简单的起点是AutoRec自编码器推荐原理,它用AutoRec单隐层网络结构把共现矩阵自编码以预测缺失评分。第一次完整落地是DeepCrossing完整深度学习架构,其DeepCrossing四层网络结构把稀疏稠密化、交叉、拟合分层解决,其中残差单元缓解梯度消失让深网可训练。转向协同过滤脉络,NeuralCF神经网络协同过滤用网络替内积,从矩阵分解到NeuralCF展示广义矩阵分解;PNN乘积层特征交叉则用内外积强化多特征交叉并付出池化代价。组合路线里,WideDeep的记忆泛化分工解释记忆与泛化,WideDeep双路融合结构落地双路,Cross网络替代Wide部分用交叉层自动化Wide。FM一脉中,FNN用FM隐向量初始化加速Embedding收敛,DeepFM以FM替代Wide部分共享Embedding,NFM特征交叉池化层补二阶交叉。注意力阶段,AFM注意力加权交叉特征给交叉特征打分,DIN目标感知的注意力网络按候选广告加权历史。序列阶段,DIEN兴趣进化网络着眼下次购买,DIEN兴趣进化三层结构用GRU与AUGRU实现。最后DRN强化学习推荐框架引入在线学习,DQN与竞争梯度下降在线学习给出行动评估与微更新。收尾的模型选择需贴合业务强调:没有通吃模型,须按业务调参对比。从结构与适用场景而非名词上理解这些模型,才能把本章知识迁移到真实业务。
原书依据 · 22 处
- 第3章 浪潮之巅——深度学习在推荐系统中的应用 · 查看原书依据
- 第3章 浪潮之巅——深度学习在推荐系统中的应用 · 查看原书依据
- 第3章 浪潮之巅——深度学习在推荐系统中的应用 · 查看原书依据
- 第3章 浪潮之巅——深度学习在推荐系统中的应用 · 查看原书依据
- 第3章 浪潮之巅——深度学习在推荐系统中的应用 · 查看原书依据
- 第3章 浪潮之巅——深度学习在推荐系统中的应用 · 查看原书依据
- 第3章 浪潮之巅——深度学习在推荐系统中的应用 · 查看原书依据
- 第3章 浪潮之巅——深度学习在推荐系统中的应用 · 查看原书依据
- 第3章 浪潮之巅——深度学习在推荐系统中的应用 · 查看原书依据
- 第3章 浪潮之巅——深度学习在推荐系统中的应用 · 查看原书依据
- 第3章 浪潮之巅——深度学习在推荐系统中的应用 · 查看原书依据
- 第3章 浪潮之巅——深度学习在推荐系统中的应用 · 查看原书依据
- 第3章 浪潮之巅——深度学习在推荐系统中的应用 · 查看原书依据
- 第3章 浪潮之巅——深度学习在推荐系统中的应用 · 查看原书依据
- 第3章 浪潮之巅——深度学习在推荐系统中的应用 · 查看原书依据
- 第3章 浪潮之巅——深度学习在推荐系统中的应用 · 查看原书依据
- 第3章 浪潮之巅——深度学习在推荐系统中的应用 · 查看原书依据
- 第3章 浪潮之巅——深度学习在推荐系统中的应用 · 查看原书依据
- 第3章 浪潮之巅——深度学习在推荐系统中的应用 · 查看原书依据
- 第3章 浪潮之巅——深度学习在推荐系统中的应用 · 查看原书依据
- 第3章 浪潮之巅——深度学习在推荐系统中的应用 · 查看原书依据
- 第3章 浪潮之巅——深度学习在推荐系统中的应用 · 查看原书依据
第4章 Embedding技术在推荐系统中的应用
本章把Embedding作为深度学习推荐系统的「基础核心操作」来展开,先看它是什么,再沿Word2vec到Item2vec再到Graph Embedding的演化线讲方法,最后落到与深度网络的结合和线上快速搜索。
Embedding的本质是用低维稠密向量表示对象,向量距离对应对象相似性,词向量里的语义类比甚至能揭示「首都-国家」这类通用关系,见Embedding本质与词向量。迁移到推荐,它之所以关键,是因为稀疏特征转稠密、自身就是强特征、可支撑召回三件事,见Embedding对深度推荐的三大价值。
经典起点是Word2vec,CBOW与Skipgram区别讲清两种结构谁预测谁,Word2vec训练与查找表还原滑动窗口抽样到查找表的训练链路,Word2vec负采样训练解释如何把多分类退化成近似二分类以扛住大词表。把词序列换成用户行为序列就得到Item2vec,Item2vec与Word2vec之别指出其摒弃时间窗口的关键差异,广义Item2vec与双塔则把双塔模型纳入「物品向量化」的广义框架并点出序列数据的局限。
当数据呈图结构时,序列方法力不从心,Graph Embedding登场。DeepWalk随机游走用随机游走把图转成序列再接Word2vec,是过渡方法;Node2vec同质性与结构性用BFS/DFS和参数p、q在同质性与结构性间权衡;EGES补充信息融合用补充信息加权融合缓解冷启动。这与第3章各类深度模型一脉相承——Embedding正是它们的输入层。
落到工程,Embedding层与预训练权衡讨论端到端训练与预训练在收敛速度和灵活性上的取舍;Embedding作为召回层以YouTube为例说明只存Embedding做内积排序上线;而LSH分桶与多桶策略解决海量候选下最近邻搜索的延迟问题。整体看,本章完成了从表示学习到召回落地的闭环,也为后续从更多角度审视推荐系统埋下伏笔。
原书依据 · 13 处
- 第4章 Embedding技术在推荐系统中的应用 · 查看原书依据
- 第4章 Embedding技术在推荐系统中的应用 · 查看原书依据
- 第4章 Embedding技术在推荐系统中的应用 · 查看原书依据
- 第4章 Embedding技术在推荐系统中的应用 · 查看原书依据
- 第4章 Embedding技术在推荐系统中的应用 · 查看原书依据
- 第4章 Embedding技术在推荐系统中的应用 · 查看原书依据
- 第4章 Embedding技术在推荐系统中的应用 · 查看原书依据
- 第4章 Embedding技术在推荐系统中的应用 · 查看原书依据
- 第4章 Embedding技术在推荐系统中的应用 · 查看原书依据
- 第4章 Embedding技术在推荐系统中的应用 · 查看原书依据
- 第4章 Embedding技术在推荐系统中的应用 · 查看原书依据
- 第4章 Embedding技术在推荐系统中的应用 · 查看原书依据
- 第4章 Embedding技术在推荐系统中的应用 · 查看原书依据
第5章 多角度审视推荐系统
本章从七个视角审视推荐系统:模型只是系统的一部分,细节缺失会影响最终效果。 特征工程:特征工程的信息保留原则要求尽量保留有用信息、摒弃冗余;隐性反馈为何成为特征重点说明显性反馈难收集、数据量小,隐性反馈是挖掘重点;连续与类别特征处理给出归一化、离散化、one-hot、multi-hot、Embedding等处理路径;特征工程与模型的一体化指出特征工程已与模型结构统一建模,业务理解仍不可替代。 召回层:召回与排序的两阶段分工在速度与召回率间权衡;多路召回策略叠加多种简单策略,K值靠离线评估与A/B测试确定;Embedding召回的两大优势以统一相似度与side information融合弥补多路召回缺陷。 实时性:实时性的重要性证据借Facebook实验证明更新越频繁损失越小;特征实时性三阶段梳理客户端、流计算、批处理的延迟差异;模型实时性的更新策略比较全量、增量、在线学习;木桶理论与迭代升级主张找到最短木板,转向工程侧。 优化目标:优化目标的设定原则以YouTube播放时长说明目标须对齐商业目标;ESMM多目标优化用共享Embedding和pCTCVR解决训练与预测空间不一致。 模型之外:DIEN有效性的两个前提指出DIEN只在兴趣进化且数据可完整捕获时有效;从用户观察出发改进模型用Netflix海报与DIN注意力证明银弹是观察用户场景。 冷启动:冷启动三类与两大思路区分用户、物品、系统三类与两条思路;规则冷启动与属性特征给出热门榜、Airbnb聚类及DMP、内容特征等做法;主动学习与迁移学习冷启动用主动问询与知识迁移弥补数据缺口。 探索与利用:探索与利用的本质用鱼塘比喻权衡眼前与长期利益;传统探索与利用三算法介绍ε-Greedy、Thompson Sampling、UCB;LinUCB与DRN探索引入上下文个性化与模型扰动;探索与利用的应用场景落到物品冷启动、新兴趣与多样性。
原书依据 · 22 处
- 第5章 多角度审视推荐系统 · 查看原书依据
- 第5章 多角度审视推荐系统 · 查看原书依据
- 第5章 多角度审视推荐系统 · 查看原书依据
- 第5章 多角度审视推荐系统 · 查看原书依据
- 第5章 多角度审视推荐系统 · 查看原书依据
- 第5章 多角度审视推荐系统 · 查看原书依据
- 第5章 多角度审视推荐系统 · 查看原书依据
- 第5章 多角度审视推荐系统 · 查看原书依据
- 第5章 多角度审视推荐系统 · 查看原书依据
- 第5章 多角度审视推荐系统 · 查看原书依据
- 第5章 多角度审视推荐系统 · 查看原书依据
- 第5章 多角度审视推荐系统 · 查看原书依据
- 第5章 多角度审视推荐系统 · 查看原书依据
- 第5章 多角度审视推荐系统 · 查看原书依据
- 第5章 多角度审视推荐系统 · 查看原书依据
- 第5章 多角度审视推荐系统 · 查看原书依据
- 第5章 多角度审视推荐系统 · 查看原书依据
- 第5章 多角度审视推荐系统 · 查看原书依据
- 第5章 多角度审视推荐系统 · 查看原书依据
- 第5章 多角度审视推荐系统 · 查看原书依据
- 第5章 多角度审视推荐系统 · 查看原书依据
- 第5章 多角度审视推荐系统 · 查看原书依据
第6章 深度学习推荐系统的工程实现
本章从工程视角把推荐系统拆成数据与模型两条线,再落到工程与理论的权衡。6.1 先讲数据流:批处理与流计算架构对比交代了从静态批量到滑动窗口实时消费的演进;Lambda架构流批双通道用实时流加离线两条分支兼顾实时与一致,Kappa架构以流代批则靠原始数据存储与数据重播把批处理并入流框架;最终大数据平台与推荐系统整合把特征与样本分别送向 HDFS 和 Redis,并在流处理层叠加机器学习形成 Unified 架构。6.2 转向离线训练:Spark的shuffle与并行边界说明 shuffle 与 reduce 如何划定 stage;Spark MLlib数据并行训练用广播加 treeAggregate 实现 mini batch 梯度下降,但Spark MLlib并行训练局限指出广播耗带宽、同步阻断拖尾与不支持复杂网络。6.3 的参数服务器的push与pull以 server/worker 分工管理梯度,同步阻断与异步更新取舍用一致性换并行效率并以最大延迟折中,一致性哈希与多server协同用多 server 与范围推拉化解单点瓶颈。6.4 的 TensorFlow 方面,TensorFlow任务关系图与并行调度用有向图与任务队列做细粒度并行且允许有环,TensorFlow单机与分布式训练区分共享内存单机与数据并行的分布式模式。6.5 讨论上线:预存结果与Embedding以存代算以极低延迟换取有限灵活度,自研模型线上服务平台可定制但迭代慢,预训练Embedding加轻量模型用双塔离线出 Embedding、线上只跑输出层,PMML与TF Serving部署则提供训练后直接部署的通用中介与原生方案。6.6 把这一切收束到权衡:Redis容量约束下模型瘦身和硬件与研发周期下的工程权衡说明工程师须在资源与进度约束下,用稀疏化、模型简化与分阶段迁移求得落地的平衡。
原书依据 · 18 处
- 第6章 深度学习推荐系统的工程实现 · 查看原书依据
- 第6章 深度学习推荐系统的工程实现 · 查看原书依据
- 第6章 深度学习推荐系统的工程实现 · 查看原书依据
- 第6章 深度学习推荐系统的工程实现 · 查看原书依据
- 第6章 深度学习推荐系统的工程实现 · 查看原书依据
- 第6章 深度学习推荐系统的工程实现 · 查看原书依据
- 第6章 深度学习推荐系统的工程实现 · 查看原书依据
- 第6章 深度学习推荐系统的工程实现 · 查看原书依据
- 第6章 深度学习推荐系统的工程实现 · 查看原书依据
- 第6章 深度学习推荐系统的工程实现 · 查看原书依据
- 第6章 深度学习推荐系统的工程实现 · 查看原书依据
- 第6章 深度学习推荐系统的工程实现 · 查看原书依据
- 第6章 深度学习推荐系统的工程实现 · 查看原书依据
- 第6章 深度学习推荐系统的工程实现 · 查看原书依据
- 第6章 深度学习推荐系统的工程实现 · 查看原书依据
- 第6章 深度学习推荐系统的工程实现 · 查看原书依据
- 第6章 深度学习推荐系统的工程实现 · 查看原书依据
- 第6章 深度学习推荐系统的工程实现 · 查看原书依据
第7章 推荐系统的评估
本章讨论如何判断一个推荐模型是否真的更好,这是与模型构建同等重要的方向性问题。首先看离线环节。离线评估三种数据划分法梳理了Holdout、k折交叉验证、留一与自助法:前者按固定比例切分、受随机性影响大,交叉验证用多次均值消除偶然,自助法在小样本下维持训练集规模。有了划分方法还要选指标,准确率的类别不均衡陷阱提醒负样本占九成时准确率会给出虚假高分;精确率召回率与F1权衡说明排序模型用Top N计算二者,并用调和平均F1折中;RMSE与LogLoss适用边界指出RMSE怕离群点、MAPE更鲁棒,而LogLoss直接反映模型收敛。
但准确率、RMSE、LogLoss都把推荐当成点击率预估,而非排序。P-R曲线与AUC评估用召回率—精确率曲线及曲线下面积量化整体排序质量;ROC曲线与截断点绘制以FPR/TPR为坐标,靠移动截断点或逐样本走格生成曲线;mAP分用户排序评估则必须先对每个用户单独排序再平均,与前两者对全量样本排序截然不同。指标不必贪多,按业务挑两到四个即可。
离线评估终究与线上有差距。Replay仿真评估与时光机指出静态评估会让模型几十天不更新,动态评估按时间推进并在更新点增量学习,极致便是逐样本回放的Replay;Netflix用时光机生成每日快照,核心是避免历史CTR这类特征发生数据穿越。
真正无法被替代的是线上实验。A/B测试不可替代性解释了数据有偏、工程环境失真与商业指标缺失三处鸿沟;A/B测试分桶正交与互斥给出复用有限流量的两条原则——层间正交打散、同层互斥不重叠。为缓解流量紧张,Interleaving快速线上评估把两个算法的排序交替混给同一组用户,用小样本快速筛出候选,但只能测相对偏好,无法给出绝对提升幅度。最后推荐系统多层评估体系把这些方法串成金字塔:底层离线评估重效率,顶层A/B测试重正确性,逐层筛选实现效率与正确性的平衡。
第8章 深度学习推荐系统的前沿实践
本章按公司串联深度学习推荐系统的前沿实战,可视为前面各章知识的一次集中落地。
Facebook部分从广告CTR预估切入。精准CTR预估的物理意义指出计算广告要求有物理意义的精准概率而非保序分数,这决定了后续必须做校正。经典方案GBDT与LR的特征工程权衡用GBDT自动组合特征、LR预测CTR,并展示了子树规模与差异化更新频率等工程权衡;实时样本依赖在线数据整合的实时性要点中的waiting window、全局action id与熔断机制;为控规模又引入负采样与CTR校正,用采样降本并校正CTR漂移。2019年的DLRM的分层模型结构是标准深度学习模型,其DLRM混合并行训练按模块分别采用模型并行与数据并行,兼顾内存与效率。
Airbnb围绕Embedding构建实时搜索。短期侧预订行为融入房源Embedding把预订与同市场信息改造进Word2vec目标函数;长期侧因预订数据稀疏,用属性聚合破解长期兴趣稀疏把用户与房源属性映射到同一空间;搜索词Embedding捕捉语义则让查询返回语义相关结果。这些向量不直接当排序,而是通过Embedding特征驱动实时排序生成配对特征送入GBDT,实时性来自对即时点击特征的快速更新。
YouTube面对百万视频采用YouTube两阶段推荐架构,先召回再精排。训练用最近邻搜索替代端到端推断把推断解耦为Embedding最近邻检索;精排侧排序模型特征与非线性处理把观看行为转成特征并补非线性,目标则由加权逻辑回归预估观看时长以观看时长为权重、用Odds还原期望观看时长。样本侧训练测试样本的防穿越处理强调负采样、等量抽样与防数据穿越,Example Age编码内容新鲜度用相对时间刻画新内容偏好。
阿里沿用户兴趣主线迭代,阿里推荐模型四阶段进化从加和池化到注意力、序列模型与多兴趣通道;线上瓶颈则靠UIC拆分降低服务延迟把序列部分拆到兴趣中心,大幅降低延迟。四家公司共同说明:前沿实践的价值不仅在模型结构,更在围绕业务目标的工程取舍。
原书依据 · 18 处
- 第8章 深度学习推荐系统的前沿实践 · 查看原书依据
- 第8章 深度学习推荐系统的前沿实践 · 查看原书依据
- 第8章 深度学习推荐系统的前沿实践 · 查看原书依据
- 第8章 深度学习推荐系统的前沿实践 · 查看原书依据
- 第8章 深度学习推荐系统的前沿实践 · 查看原书依据
- 第8章 深度学习推荐系统的前沿实践 · 查看原书依据
- 第8章 深度学习推荐系统的前沿实践 · 查看原书依据
- 第8章 深度学习推荐系统的前沿实践 · 查看原书依据
- 第8章 深度学习推荐系统的前沿实践 · 查看原书依据
- 第8章 深度学习推荐系统的前沿实践 · 查看原书依据
- 第8章 深度学习推荐系统的前沿实践 · 查看原书依据
- 第8章 深度学习推荐系统的前沿实践 · 查看原书依据
- 第8章 深度学习推荐系统的前沿实践 · 查看原书依据
- 第8章 深度学习推荐系统的前沿实践 · 查看原书依据
- 第8章 深度学习推荐系统的前沿实践 · 查看原书依据
- 第8章 深度学习推荐系统的前沿实践 · 查看原书依据
- 第8章 深度学习推荐系统的前沿实践 · 查看原书依据
- 第8章 深度学习推荐系统的前沿实践 · 查看原书依据
第9章 构建属于你的推荐系统知识框架
第9章是全书收尾,不再引入具体模型,而是从更高处俯瞰推荐系统的整体知识框架,并用三种方式回顾前八章:完善架构图、梳理模型时间线、给出工程师能力模型。
9.1节在图1-4基础上补全图9-1“推荐系统整体知识架构图”,把全书模块与技术细节汇成一张可当作技术索引的图,看到每个模块、名词就能回忆相应要点。作者借“不谋全局者,不足谋一域”强调全局观:只有心中有整体框架,管理局部时才能找到最佳方案、做到全局最优。更关键的是确立本章的工程哲学——技术方案永远多元,图9-1只是多数企业的参考架构而非唯一正确答案,工程师应从自身客观环境出发构建最“合适”的系统而非照搬“最正确”的模板,这一点展开为合适优于正确的工程观。
9.2节由图9-2以时间线回顾模型发展,指出2016年后深度学习模型迭代明显加速、业界最佳实践不断涌入;书本静态而技术动态,前沿内容需持续追踪。这提示方案权衡的深度与广度中的广度储备没有终点。
9.3节转向职业成长。9.3.1把能力拆为知识、工具、逻辑、业务四维,给出最小要求与岗位侧重,对应推荐工程师四项能力;“有论文却不肯写代码”的偏科候选人说明合格先于优秀。9.3.2用DIN改造的六层追问解释深度、用备选方案比较与A/B测试解释广度,并补上工程与理论的权衡,正是方案权衡的深度与广度的展开。9.3.3收束为在四项能力上综合提升、在深度广度上储备、在客观约束下权衡取舍,最终产出可行且合理的技术方案。三张卡合起来构成“框架观—能力模型—方案方法论”的完整闭环。
后记
后记为作者写作感言与致谢,无实质知识内容,不生成知识卡。
跨章综合
把九章放在一起,有几条线索贯穿全书,理解它们能把零散的模型与实践连成体系。
演化是一条”痛点—改进—代价”的因果链。 第2章的[[传统推荐模型演化全景]]与第3章的[[深度学习推荐模型演化图谱]]不是两张独立的清单,而是同一条链的前后段:协同过滤的简单换来[[协同过滤的头部效应缺陷]],矩阵分解用隐向量补救却引入训练复杂度,逻辑回归能融合特征却被[[辛普森悖论与特征交叉]]卡住,FM/FFM 自动做交叉,GBDT+LR 把特征工程模型化;进入深度学习,NeuralCF、Wide&Deep、DeepFM、DIN、DIEN 逐个解决表达力、记忆泛化、注意力与序列问题。读任何一张卡的”相对前序的改进与代价”,都在回答同一个问题:数据里哪类信号以前没被利用,新模型怎么把它抓出来。
Embedding 是贯穿全书的技术主线。 第4章的[[Embedding本质与词向量]]看似独立,实则向前连着[[矩阵分解的隐向量原理]](隐向量就是一种 Embedding),向后支撑[[Embedding作为召回层]]、[[DIN目标感知的注意力网络]]和[[YouTube两阶段推荐架构]]的召回环节。[[广义Item2vec与双塔]]、[[DeepWalk随机游走]]、[[EGES补充信息融合]]展示了同一思想在不同数据结构上的变体,[[Embedding对深度推荐的三大价值]]给出统一解释。可以说,理解 Embedding 就理解了深度推荐系统的”表示层”。
模型与系统是两条腿。 第3章和第8章谈模型,第1、5、6、7章谈系统。作者反复强调模型不是全部:[[召回与排序的两阶段分工]]说明再好的排序模型也受限于召回质量,[[特征实时性三阶段]]与[[模型实时性的更新策略]]说明时效信号的重要性,[[多路召回策略]]、[[参数服务器的push与pull]]、[[A/B测试不可替代性]]说明工程决定模型能否真正创造价值。[[从用户观察出发改进模型]]、[[合适优于正确的工程观]]是这种系统观的最好注脚。
评估贯穿始终。 从[[推荐优化目标随业务而变]]到[[优化目标的设定原则]],再到第7章完整的评估体系,作者强调”优化什么”决定”得到什么”。[[准确率的类别不均衡陷阱]]、[[A/B测试分桶正交与互斥]]、[[推荐系统多层评估体系]]说明离线指标与线上效果之间有鸿沟,[[Replay仿真评估与时光机]]、[[Interleaving快速线上评估]]是弥合手段。没有正确评估,模型迭代就是盲目的。
冷启动与探索利用是一对长期挑战。 [[冷启动三类与两大思路]]与[[探索与利用的本质]]在第5章相邻出现,因为二者都关乎”新”:新用户、新物品缺乏数据,需要在[[规则冷启动与属性特征]]、[[主动学习与迁移学习冷启动]]、[[传统探索与利用三算法]]、[[LinUCB与DRN探索]]之间权衡短期收益与长期信息获取。第8章 Airbnb 的[[属性聚合破解长期兴趣稀疏]]、YouTube 的[[Example Age编码内容新鲜度]]都是这些思想在具体业务中的回响。
这些线索彼此交织:Embedding 连接模型与召回,评估约束优化目标,系统能力决定模型上限,冷启动与探索利用贯穿系统全生命周期。沿着任一线索重读,零散的案例会显现出共同的工程逻辑。
发散与实践
以下实践方向是读者延伸,基于本书知识设计,不代表作者主张,也未实际执行。它们把工程经验转化为可检查的行动。
实践一:复现一条经典模型演化链。 选第2章的[[协同过滤的共现矩阵流程]]、[[矩阵分解的隐向量原理]]、[[逻辑回归的CTR预估流程]]、[[FM隐向量特征交叉]],在一份小规模评分数据上依次实现,记录各模型在同样数据上的表现与所需特征工程。验证方式:能用[[传统推荐模型演化全景]]的因果链解释每次改进解决了什么。产出是一份对照实验报告。
实践二:训练 Embedding 并做召回。 依[[Word2vec负采样训练]]与[[Embedding作为召回层]],用 Item2vec 在行为序列上训练物品向量,再用[[LSH分桶与多桶策略]]或近似最近邻做召回,评估召回覆盖率与准确率。验证方式:能说明[[Embedding对深度推荐的三大价值]]中哪一项在本实验里体现。产出是代码、召回结果与分析。
实践三:搭建一套离线评估对比。 按[[离线评估三种数据划分法]]、[[P-R曲线与AUC评估]]、[[mAP分用户排序评估]],对两个模型做离线对比,并对照[[A/B测试不可替代性]]讨论离线指标可能误导的地方,设计一份 A/B 测试方案(含[[A/B测试分桶正交与互斥]]考虑)。产出是评估脚本与测试设计文档。
实践四:诊断一个真实推荐系统的冷启动。 选一个你熟悉的场景,用[[冷启动三类与两大思路]]分类当前问题,参照[[规则冷启动与属性特征]]、[[主动学习与迁移学习冷启动]]提出方案,并用[[探索与利用的应用场景]]判断该不该引入探索。验证方式:每类冷启动都有对应策略与理由。产出是一份诊断报告。
实践五:梳理一张推荐系统知识框架图。 以第9章[[推荐工程师四项能力]]为纲,把召回、排序、特征工程、实时性、评估、工程实现连成一张图,标注每块的代表模型(参照[[深度学习推荐模型演化图谱]])与关键权衡(参照[[合适优于正确的工程观]])。验证方式:能用这张图向他人讲清一个推荐系统如何运转。产出是一张思维导图或墙面图。
这些实践由浅入深:前两个验证对模型与表示的理解,中间两个落到评估与诊断这类工程核心能力,最后一个把全书知识整合成个人框架。按[[推荐系统多层评估体系]]的思路逐步验证,可把书中的工程经验转化为可迁移的能力。