此笔记位置已失效,请从目录继续阅读。
全书导读
这本书试图说明一件在工程实践里常被拆散的事:搜索、推荐和广告,是同一套技术在三种目标下的用法。三者都要先理解输入(查询或用户),再从海量候选里召回一小批,然后排序,最后评估并迭代。差别不在骨架,而在目标函数——搜索要对用户已表达的需求给出答案,推荐要在用户没有表达时猜出兴趣,广告要在满足前两者约束的同时对商业收益负责。理解这一点,第5章的排序学习和第8章的点击率模型就不再是两个知识点,而是同一件事在两种约束下的写法。
全书的编排是四部分、三段式。第一部分(第1~3章)铺地基:概率与线性代数是统计机器学习和统计自然语言处理的共同语言,搜索与推荐的常识划定了问题边界,知识图谱则是后面两条主线共用的语义资源。第二部分(第4~6章)拆搜索:先给组件与数据管道,再给从布尔模型到 Transformer 的算法演进,最后给效率与效果两套评价。第三部分(第7~9章)用完全相同的三段式拆推荐:架构与召回排序、从矩阵分解到 DeepFM 的模型家族、离线/在线/主观三层评估。第四部分(第10~12章)落到工程:Lucene、Solr、Elasticsearch 三个工具,以及电商搜索和广告推荐两个实战。
读法上有一条明确的依赖线。第1章不能跳——后面的推导默认读者已经接受过分布、梯度、最大似然与信息熵这套语言,跳过它不会让公式变简单,只会让公式变成需要背下来的东西。第2章和第3章可以快读,但要记住第2章末尾「搜索与推荐的区别」那张判断表,因为第4~6章和第7~9章的分工完全由它决定。第4~9章是主体,建议按「框架→算法→评价」成组读:单看算法容易记住模型却不知道它落在流水线哪一段,单看评价则不知道指标在衡量什么假设。第10章偏工具,第11、12章偏落地,如果没有工程任务,读它们的取舍判断即可。
需要打折扣的地方也应当说清。这本书出版于 2021 年,内容大致定稿于 2020 年前后,工具部分的版本细节(Lucene 的段合并策略、Solr 与 ES 的默认配置、Zookeeper 在 ES 7 之后的角色变化)已经落后于当下实现,凡涉及具体参数与版本行为,都应以官方文档为准。深度模型部分讲到 DSSM、Wide & Deep、DeepFM 与阿里的 MLR→GWEN→DIN/DIEN 为止,之后的自注意力召回与预训练语言模型没有覆盖。反过来,书中真正耐久的是那些约束性的判断:为什么召回决定候选天花板、为什么离线指标与线上收益会背离、为什么主分片数一旦确定就不能改、为什么 k1 要让词频收益封顶。这些结论来自机制而不是版本,换个技术栈仍然成立。
全书主线
前半本先划界,再给工具。 第2章把搜索与推荐拆成两个问题:搜索的输入是用户明确写下的查询,所以可以先建索引再匹配;推荐的输入是用户没写出来的偏好,所以必须先维护一个用户表示。这个差别一路决定了后面的结构——搜索侧的重点在查询理解与文本匹配,推荐侧的重点在用户与物品的表示和候选生成。第3章插入知识图谱,看似旁支,实则是为两侧同时准备同一份语义资源:搜索需要把查询解析成实体和关系,推荐需要在没有行为数据时也能给出理由。
中间六章是两条同构的主线。 第4~6章拆搜索:四组件框架(收集、存储、扩展、计算)与它们之间的反馈回路,决定了后面所有优化的着力点;数据管道(抓取、去重、倒排、词典)决定了查询能多快拿到候选;文本分析(归一化、分词、纠错、建议、意图)决定了系统看到的输入是什么;最后才是打分——布尔模型只能判断匹配,向量空间模型引入权重与夹角,概率模型给权重补上理论依据,BM25 再加词频饱和与长度归一化,排序学习把人工拟合换成训练,DSSM 与 Transformer 把词面匹配升级成语义匹配。第6章的评价是这条线的度量:效率看响应时间与索引量,效果看准确率、召回率、F 值,再到 P@N、MRR、MAP、nDCG——每一次升级都在补三件事:相关性是否分级、位置是否计入、查询之间是否可比。
第7~9章用同一套骨架讲推荐:四层架构(离线、近线、在线、存储)解决新鲜度与实时性的取舍;召回—排序的两阶段切分不是为了提速,而是因为候选集的天花板由召回决定,排序只能在候选内优化;冷启动、探索与利用是召回侧绕不开的数据缺失问题;第8章的四类模型(矩阵分解、线性、树、深度)都在应对同一件事——稀疏特征下的组合信号,区别只是用什么方式买到特征交叉、付多少参数与算力;第9章把评估拆成评分预测与排序两类指标,再用离线、在线 A/B、主观评估三层方法覆盖「快而偏」「真而贵」「能解释但样本小」三种局限。
最后三章把原理放回工程。 第10章的三个工具对应三种抽象层级:Lucene 是库,负责分词、倒排、打分;Solr 是应用,补上 Schema、分片、副本与集群协调;Elasticsearch 把分布式做进引擎,用刷新换近实时,用分片换并行,代价是主分片数锁死与脑裂风险。第11、12章则是同一套流水线在两个业务里的形态:电商搜索的每一环最终换算成转化率,所以「准」与「全」不能只压一端;广告推荐的目标是给定上下文整体价值最大,所以 CTR 预估同时决定排序与扣费,粗排与精排的级联由延迟预算倒推。
一条隐含的主线是「代理指标」。 相关度本身是用户判断,不可直接测量,于是有了 BM25 这样的代理;点击率是收益的代理,于是有了 CTR 预估;离线 nDCG 是线上满意度的代理,于是有了 A/B 实验来校验。全书几乎每一次方法升级,都是在换一个更好的代理,或者在提醒读者这个代理会在哪里失效。
前言
前言交代了这本书的来路和读法,也交代了它的一个基本判断:搜索、推荐、广告不是三门手艺,而是一条流水线上的三种目标。作者是从工作笔记整理成书的,动机很具体——市面上的资料要么整本讲代码、偏工程实现,要么只讲自然语言处理或机器学习的理论,很少有人说清这些理论怎么落到搜索场景里。这本书要补的就是这段落差。
由此可以理解全书的组织方式。第一部分(第1~3章)铺地基:概率统计与应用数学是统计机器学习和统计自然语言处理的共同前提,搜索与推荐的常识划定了问题边界,知识图谱则是后面两条主线都要复用的语义资源。第二部分(第4~6章)拆搜索:框架与组件、检索模型到深度语义匹配的算法演进、以及效率与效果两套评价。第三部分(第7~9章)用同样的三段式拆推荐:架构与召回排序、从矩阵分解到 DeepFM 的模型家族、以及离线/在线/主观三层评估。第四部分(第10~12章)落到工程:三个搜索引擎工具,再加电商搜索与广告推荐两个实战。
值得注意的是作者对第一部分的处理:它相对独立,有基础的读者可以跳过,初学者不能跳。这个提醒背后是一条依赖关系——后面的模型推导默认读者已经接受过概率分布、梯度、最大似然与信息熵这套语言,跳过地基并不会让后面的章节变简单,只会让公式变成需要背下来的东西。
三者共用一套技术骨架 是理解全书编排的钥匙:正因为三者共用召回—排序骨架与评估方法,第四部分才敢把搜索和广告推荐放在一起讲,也才值得把第5章的排序学习和第8章的 CTR 模型对照着读。
原书依据 · 1 处
第1章 概率统计与应用数学基础知识
本章不是一份孤立的知识清单,而是一只按用途分层的工具箱:概率统计描述随机现象并估计参数,线性代数表示数据并提取结构,微积分给出优化方向,信息论度量不确定性,四组工具对应后面几类模型。
概率从公理出发:它是事件发生可能性的测度,满足非负、P(Ω)=1、可列可加三条公理;条件概率 P(A|B)=P(AB)/P(B) 把样本空间收缩到 B 上归一化。由此派生的乘法规则、全概率与贝叶斯公式是一套正反两向计算:全概率按原因把难算的 P(A) 拆开相加,贝叶斯反过来由结果推原因,完成先验、似然、后验的换算,是朴素贝叶斯的算式来源(见贝叶斯公式的三个部件)。随机变量把试验结果数值化,分布刻画取值规律:0-1、二项、泊松适合点击、曝光、请求数这类计数,正态与指数适合误差和时间间隔(见先分类型再选概率分布)。期望、方差、协方差再把分布压成中心、波动、共同趋势三个数字,评估与特征分析都靠它们(见期望方差协方差各答什么)。
线性代数解决“数据怎么摆、结构怎么找”。矩阵乘法要求内维相等,每个元素是行与列的点积;秩衡量独立方向数;逆矩阵只对满秩方阵存在(见矩阵的形状秩与可逆性)。范数给向量一把尺子,L1、L2、L∞ 对应绝对值之和、欧氏长度与最大分量,距离、相似度与正则项都靠它(见Lp 范数的三种常用取值);坐标超过两维的数组即张量,批量图像就是四阶张量;该小节只给出定义,内容并入范数卡。特征分解找出被矩阵作用后方向不变、只改长度的方向,SVD 把它推广到任意 m×n 矩阵,是降维与压缩的基础(见特征分解给出伸缩方向、奇异值分解也能拆非方阵)。
机器学习基础回答“参数怎么学”。导数把函数局部线性化,梯度指向增长最快方向,沿负梯度走即下降(见梯度是局部最陡方向)。最大似然给出学习目标:参数当作变量,选让已观测样本最可能出现的那个值,取对数是为了把连乘变连加(见最大似然选最可能的参数)。序列数据用随机过程刻画:马尔可夫性把长历史压成当前状态,HMM 再加上不可见的隐状态,用 λ=(A,B,Π) 描述转移与发射,是分词、词性标注、语音识别的框架(见隐马尔可夫模型的三组参数)。信息熵度量不确定性,分布越均匀熵越大,决策树 ID3、C4.5 用它挑分裂;条件熵与互信息说明“知道一个变量后另一个还剩多少不确定”,可用于特征与标签的关联分析(见信息熵:不确定性的比特数、熵族三个量各自的用途)。
1.4 只是收束:它们不是算法本身,后续自然语言处理、机器学习与深度学习章节会反复调用。
原书依据 · 12 处
- 第1章 概率统计与应用数学基础知识 · 查看原书依据
- 第1章 概率统计与应用数学基础知识 · 查看原书依据
- 第1章 概率统计与应用数学基础知识 · 查看原书依据
- 第1章 概率统计与应用数学基础知识 · 查看原书依据
- 第1章 概率统计与应用数学基础知识 · 查看原书依据
- 第1章 概率统计与应用数学基础知识 · 查看原书依据
- 第1章 概率统计与应用数学基础知识 · 查看原书依据
- 第1章 概率统计与应用数学基础知识 · 查看原书依据
- 第1章 概率统计与应用数学基础知识 · 查看原书依据
- 第1章 概率统计与应用数学基础知识 · 查看原书依据
- 第1章 概率统计与应用数学基础知识 · 查看原书依据
- 第1章 概率统计与应用数学基础知识 · 查看原书依据
第2章 搜索系统和推荐系统常识
第2章不教算法,它做的是划界:把搜索与推荐各自是什么、边界在哪、为什么必须分成两套东西讲清楚。
先看搜索。前提是信息过载:每年新增 EB 级信息,人脑却只装得下百 MB 量级。要区分三个常被混用的词:信息检索是方法学,搜索是带目的性的寻找行为,搜索引擎只是信息检索系统的一个实例,见 检索搜索与引擎的边界。把搜索引擎拆开,得到搜索器、索引器、检索器和用户接口四块,分属离线与在线两条节奏不同的链路,见 搜索引擎的四个部件与两条节奏。
发展史与分类该读的是判断标准的演化。Yahoo 用人工目录换质量,Excite 用词项相似度换自动化,Google 用链接关系换抗作弊——相关性证据从人移到文档内部,再移到文档之间,见 相关性依据的三次更替。四类引擎的切分维度同样不是「范围大小」:元搜索不拥有索引、只拥有调度与融合,见 元搜索不建索引只调度;垂直搜索改变的是结果的可行动形态,从「知识」变成「消息、条目」,见 垂直搜索的差别不在范围。
再看推荐。定义只有一句——找出用户与物品之间联系的信息过滤系统——但两个特征决定了它的全部设计:不需要用户说出需求(主动),并愿意挖掘冷门物品(个性化与长尾),见 推荐的两个特征。2.2.2 的发展史按「当时卡在哪」重排才有意义:GroupLens 解决自动化,Amazon 解决百万级商品的落地,2005 年的综述让方法有了共同语言,Netflix Prize 把目标压成一个可比数字,YouTube 把特征与模型交给深度网络,见 三十年换的是瓶颈。2.2.3 的应用场景是案例罗列,可迁移的判断只有一条:推荐位取决于用户手里有没有「锚」;这点已并入特征卡,不单独成卡。
2.2.4 按「偏好从哪里推断」分类,每种方法都押一个前提,失效方式各不相同:基于内容怕特征提不准与用户冷启动,协同过滤怕稀疏,混合怕错误同源,见 三种推荐方法各自押了什么假设;混合还要区分混结果与混算法两层,见 混合推荐的两个层次。
最后是 2.3。搜索与推荐的三条区别——意图是否明确、输入是查询串还是行为日志、评价口径是求快走还是求久留——不是并列知识点,而是全书结构的生成规则:输入确定,所以搜索侧可以先建索引再匹配;输入不确定,所以推荐侧必须先维护用户表示。两侧都按框架、算法、评价三段展开(第4–6章、第7–9章),落点不同,见 意图是否明确,决定了输入是什么 与 搜索求快走推荐求久留。马太效应与长尾补上第四条:搜索加剧头部集中,推荐靠盘活长尾。这也解释了第3章为何先讲知识图谱:两侧的召回与排序都需要结构化的世界知识。
第3章 知识图谱相关理论
第3章解决一件事:搜索和推荐都需要“知道词背后是什么”,关键词匹配不知道。知识图谱就是这个载体——节点是实体、边是关系、键值是属性(知识图谱的三要素)。搜索侧的变化是:查询被解析成实体和关系后可直接在图上找答案(图谱把匹配变成推理);推荐侧的变化是:语义边在没有行为数据时也能给出理由,可缓解冷启动与稀疏(强下位关系是最可用的边)。两条线分别在第4章与第7章展开,本章只造原料。 原料的骨架是数据层与模式层:数据层存三元组事实,模式层(本体)规定事实允许怎么长;构建路线因此有自顶向下(先定本体)与自底向上(先抽事实再归纳模式)之分,业界从前者转向后者(模式层与数据层谁先行)。表示方法则是一部“表达力换可计算性”的历史:一阶谓词逻辑严谨但推理昂贵、无法表达不确定性,语义网络直观却缺形式语义,最终收敛到 RDF 三元组加 OWL 公理(知识表示四代与RDF收敛)。 3.2 是把文本变成三元组的工序。实体识别被改写成序列标注:给每个字打 BMESO 标签再拼回边界(实体识别就是序列标注),模型从规则字典走到 HMM/CRF、RNN-CRF、BERT(NER四代技术各补了什么)。CRF 的位置来自判别式建模与标签转移约束(CRF为什么适合序列标注),约束由特征模板落地——Unigram 管观测,Bigram 管转移(观测特征与转移特征分工)。BiLSTM-CRF 是这条线的代表:LSTM 看上下文提特征,CRF 保证输出序列合法(自动提特征后为何要CRF)。关系抽取分写模式与学模式,前者可解释但覆盖窄,后者省特征工程但吃标注(关系抽取的写与学两条路)。 多源数据必然重复冲突,3.3 处理两件方向相反的事:对齐判断两库记录是否同一对象,是冗余消除(实体对齐的成对与协同);消歧判断一个名字在当前语境指谁,是一词多义(消歧与对齐不是一件事)。两者都落到相似度计算,区别在依据与代价。 3.4 让图谱从“存下来”变成“能自省”。推理有两种用法:补全缺失的边,或用同一套规则给已有事实做质检(知识推理的两种用法:补全与质检)。演绎路线从硬规则走到马尔可夫逻辑网、概率软逻辑,做法是给规则加权重、给事实加真值,让推理容忍噪声(硬规则软化成功率权重);归纳路线用 FOIL、AMIE、PRA 从图里挖规则(归纳推理从图里挖规则);分布式表示把实体关系压成向量,用 h+r≈t 打分做链接预测(把推理变成向量打分)。质量评估决定哪些结果入库,众包只在“答案唯一且大众能判断”时成立(质量评估:众包投票在哪里失效)。3.5 小结只把四条线挂回架构图,没有新增内容,不单独成卡。 本章留下三样东西:实体与关系的索引,第4章做查询理解与结果扩展时用;语义边,第7章做冷启动、多样性与可解释推荐时要用;三元组的置信度,两章融合多路召回时用来排序或过滤。
原书依据 · 18 处
- 第3章 知识图谱相关理论 · 查看原书依据
- 第3章 知识图谱相关理论 · 查看原书依据
- 第3章 知识图谱相关理论 · 查看原书依据
- 第3章 知识图谱相关理论 · 查看原书依据
- 第3章 知识图谱相关理论 · 查看原书依据
- 第3章 知识图谱相关理论 · 查看原书依据
- 第3章 知识图谱相关理论 · 查看原书依据
- 第3章 知识图谱相关理论 · 查看原书依据
- 第3章 知识图谱相关理论 · 查看原书依据
- 第3章 知识图谱相关理论 · 查看原书依据
- 第3章 知识图谱相关理论 · 查看原书依据
- 第3章 知识图谱相关理论 · 查看原书依据
- 第3章 知识图谱相关理论 · 查看原书依据
- 第3章 知识图谱相关理论 · 查看原书依据
- 第3章 知识图谱相关理论 · 查看原书依据
- 第3章 知识图谱相关理论 · 查看原书依据
- 第3章 知识图谱相关理论 · 查看原书依据
- 第3章 知识图谱相关理论 · 查看原书依据
第4章 搜索系统框架及原理
搜索系统在用户眼里只有两件事:输入 Query,拿到结果页。把中间链路拉直,就是「查询理解—召回—排序」:先猜用户要什么,再把可能相关的文档捞出来,最后按相关性排序。本章的四组件框架、数据管道、文本分析与知识图谱,都挂在这条链上。
框架侧,四组件与它们之间的回路把系统拆成收集、存储、扩展、计算四段;真正要记住的是它们之间的反馈——存储要回传命中位置、频次与结果分布,因为排序特征几乎全靠这些统计量。细粒度查询容易一条不中,召回不足时退回扩展层于是让存储把不足的候选退回扩展层降级重搜,形成带终止条件的循环,代价是尾延迟不可控。4.1.2 的实现四部件(搜索器、索引器、检索器、用户接口)与 4.1.1 大量重叠,只保留其独有的把自然语言压成检索要素:切分、属性扩展、图谱推理决定了后续环节看到什么输入。
数据层的顺序是抓、洗、存。爬虫的一轮抓取循环给出队列骨架,已抓队列负责去重、待抓队列决定优先级;其上才有爬虫的四种类型与三条质量线、待抓URL的三种排序策略与网页更新策略:什么时候该重抓。后两者的共同难题是信息不足:全局 PageRank 只能用局部子图算,更新策略依赖历史而新页面没有历史,聚类抽样正是绕开这一点。SimHash把文档压成指纹用局部敏感哈希把文档压成定长指纹再比海明距离,是先压缩再比较的现实路径。倒排索引与前向索引的差别解释了查询为何从扫文档翻转为查词典,三元组中的出现位置还支撑短语查询;用公共前缀换查询时间把复杂度与词典规模解耦成 O(m),代价是构建慢、占空间。
文本分析是本章重心,也是查询理解的实体:归一化→分词→检错→重要性与紧密度→意图识别,见查询预处理的三件事,其前面还有 Cache 挡着。分词的英文特例与中文难题讲数字、连字符、标点、大小写与中文的歧义、未登录词,中文分词的三类算法给出三条路线以及正向、逆向最大匹配的差别。查询建议从PV到点击建模展示特征从 Query 自身演进到用户与上下文,查询纠错:噪声信道与编辑距离用噪声信道把纠错写成求最大后验,再用编辑距离与三角不等式剪枝。停用词、同义词与检索要素权重则划清方向:扩展负责不漏,权重与排序负责不乱。
意图理解是查询理解的出口。意图识别的难点与精准/模糊之分区分两类意图,并点出精准意图排序不稳的三种成因;意图分类:标签体系与模型选型说明标签统一后才能用标签直接去倒排索引召回,模型按准确率与延迟权衡。4.3.3 的三种无监督方法看似旁支,实为意图与主题识别的底座:层次聚类:合并规则决定聚类形状、K 均值:硬聚类与 k 的选择、LDA是三层贝叶斯模型。最后知识图谱为什么能改善搜索把文本匹配推进一步:层次化实体识别、关系推理与结构化索引。4.5 小结只是目录压缩,无新增机制,不再成卡。
原书依据 · 22 处
- 第4章 搜索系统框架及原理 · 查看原书依据
- 第4章 搜索系统框架及原理 · 查看原书依据
- 第4章 搜索系统框架及原理 · 查看原书依据
- 第4章 搜索系统框架及原理 · 查看原书依据
- 第4章 搜索系统框架及原理 · 查看原书依据
- 第4章 搜索系统框架及原理 · 查看原书依据
- 第4章 搜索系统框架及原理 · 查看原书依据
- 第4章 搜索系统框架及原理 · 查看原书依据
- 第4章 搜索系统框架及原理 · 查看原书依据
- 第4章 搜索系统框架及原理 · 查看原书依据
- 第4章 搜索系统框架及原理 · 查看原书依据
- 第4章 搜索系统框架及原理 · 查看原书依据
- 第4章 搜索系统框架及原理 · 查看原书依据
- 第4章 搜索系统框架及原理 · 查看原书依据
- 第4章 搜索系统框架及原理 · 查看原书依据
- 第4章 搜索系统框架及原理 · 查看原书依据
- 第4章 搜索系统框架及原理 · 查看原书依据
- 第4章 搜索系统框架及原理 · 查看原书依据
- 第4章 搜索系统框架及原理 · 查看原书依据
- 第4章 搜索系统框架及原理 · 查看原书依据
- 第4章 搜索系统框架及原理 · 查看原书依据
- 第4章 搜索系统框架及原理 · 查看原书依据
第5章 搜索系统中的主要算法
第5章讨论的是搜索系统里“打分”这件事。搜索引擎分召回和排序两个阶段,召回负责把候选捞出来,排序负责决定谁在前;本章的算法几乎都作用在排序,或者为排序提供可计算的相似度。起点是一个不太好对付的概念:相关度。它取决于用户的判断,不同人、不同时间给出的结论都可能不同,所以检索模型并不是在测量一个客观量,而是在构造代理指标。相关度是判断,不是文档的属性 这一点是整章的方法论前提。
5.1 沿着“代理指标越来越精细”这条线展开。布尔模型最直接:查询和文档都写成标引项的布尔表达式,匹配结果是真或假。它能精确判断命中,却不能排序——所有命中文档同等对待,词频、长度、词的重要性全部丢失。布尔模型:能判匹配,不能排序 向量空间模型补上了这个缺口:把文档和查询变成同一组标引项上的权重向量,用夹角衡量接近程度,于是支持部分匹配、结果可排序。向量空间模型要回答的三个问题 权重用 TF-IDF,用IDF压住常见词 相似度用余弦,余弦相似度:把文档长度除掉 这两步一个负责“哪些词重要”,一个负责“长度不干扰比较”。但 VSM 的权重公式多凭经验,标引项独立假设也不成立。
概率检索模型把这件事重新推了一遍。BIM 从 P(R=1|D) 出发,用贝叶斯公式和朴素贝叶斯假设,把排序化成对查询—文档交集词的加权求和;在没有相关标注时,权重退化成 IDF 形式的 RSJ 权重。BIM:把“相关”写成概率比 这等于给 VSM 的经验公式补了一个理论解释。BM25 再往前一步:BIM 没考虑词频和文档长度,于是加入饱和项和长度归一化,k1控饱和b控长度惩罚 k1 让词频收益封顶,b 决定长文档被惩罚多少。5.1.4 的其他路线——同义词典扩展、LSI 隐空间、查询似然——查询似然等三条路线 则是从集合、代数、生成概率三个方向绕开“词面匹配”的限制,为后面的语义模型埋下伏笔。
5.2 换了一个问题:这些公式里的参数由谁来定?传统做法是人工拟合、反复实验,特征一多就调不动,也难以判断过拟合。排序学习把人从公式里拿出来,只提供标注数据,让模型自己学打分函数。排序学习:把人工拟合换成训练 三种范式的区别在于一个样本是什么:Pointwise 是单个文档加标签,Pairwise 是文档对加顺序,Listwise 是整个列表。这决定了损失怎么构造,也决定了标注成本和误差特性。三种排序学习范式的损失构造 逻辑回归是最常用的线性基线,线性打分再过Sigmoid 它凸、可解释、易并行,但只能表达线性组合;集成方法则用弱学习器组合出更强的模型,Bagging 降方差、Boosting 降偏差。Boosting与Bagging分工
5.3 面对的是另一层瓶颈:排序学习的特征仍然要人工抽取。DNN 用多层全连接自动提取高维非线性特征,全连接ReLU与梯度下降 但它把查询和文档拼成一个平坦向量,学不到两者的语义对应关系。DSSM 改用双塔,把 Query 和 Doc 各自映射到同一语义空间,用余弦加 softmax 训练,DSSM的双塔与softmax 于是没有共同词的“手机壳”和“保护套”也能靠近;代价是词袋表示丢掉了语序。Transformer 用自注意力让每个词动态汇聚上下文,自注意力到底怎么算 再用位置编码补回被它忽略的顺序,位置编码:给自注意力注入词序 从而同时保住语序和长程依赖。
5.4 本章小结没有新增概念,只是回顾这条线索:从布尔匹配到向量空间,从概率模型到学习排序,再到深度语义匹配,每一步都在补前一步的缺口——不能排序就引入权重和夹角,权重没依据就用概率推导,参数调不动就交给学习,特征靠人工就交给深度网络,语义不够就用双塔和自注意力。这条链也解释了为什么这些模型今天仍然并存:BM25 依然是理解排序的入口,深度模型负责处理它处理不了的语义匹配。
原书依据 · 16 处
- 第5章 搜索系统中的主要算法 · 查看原书依据
- 第5章 搜索系统中的主要算法 · 查看原书依据
- 第5章 搜索系统中的主要算法 · 查看原书依据
- 第5章 搜索系统中的主要算法 · 查看原书依据
- 第5章 搜索系统中的主要算法 · 查看原书依据
- 第5章 搜索系统中的主要算法 · 查看原书依据
- 第5章 搜索系统中的主要算法 · 查看原书依据
- 第5章 搜索系统中的主要算法 · 查看原书依据
- 第5章 搜索系统中的主要算法 · 查看原书依据
- 第5章 搜索系统中的主要算法 · 查看原书依据
- 第5章 搜索系统中的主要算法 · 查看原书依据
- 第5章 搜索系统中的主要算法 · 查看原书依据
- 第5章 搜索系统中的主要算法 · 查看原书依据
- 第5章 搜索系统中的主要算法 · 查看原书依据
- 第5章 搜索系统中的主要算法 · 查看原书依据
- 第5章 搜索系统中的主要算法 · 查看原书依据
第6章 搜索系统评价
改了一版检索,怎么知道它变好了?没有度量,改进只能靠感觉。评价因此分两条线:性能评价看跑得快不快、占得多不多,效益评价看投产后的经济与社会收益;后者滞后难量化,工程上主要抓前者,再落到效率与效果(见性能与效益两条评价线)。指标要科学、合理、有效,且时间与空间往往不可兼得。
效率一侧,响应时间要区分委托检索与非委托检索,再用平均响应时间 T=Σti/k 汇总;文档库规模、硬件、检索软件、存储结构与设备是四类可控因素,网络抖动让同一检索在不同时间地点测出不同值,故需多环境多次测量(见响应时间的口径与影响因素)。空间开销取决于索引结构。索引量同时是覆盖率与成本:它指“能被搜到的页面数”,与只被抓取分析过的收录量不同;索引越大,从外部通信到子节点遍历索引的四段耗时都被推高(见索引量是一根双向杠杆)。
效果一侧从两个比率开始。准确率 P=a/(a+b) 看返回结果里有多少对,召回率 R=a/(a+c) 看库中相关文献被找回多少(见四格表里的两个错误率)。两者分母不同,故对同一改动反应相反。可调杠杆是标引网罗性与检索词专指性:标引越全、词越宽,召回升而准确降(见精确率与召回率怎么取舍)。故无普遍最优工作点:专利要 R=1,产品咨询要高准确率。压成一个数用 F 值,调和平均让较小一方主导,避免算术平均掩盖 P=0 的失效(见F值为何用调和平均)。
用户只看前十条时,P 和 R 都不够贴切。P@N 在固定截断处算准确率;MRR 只看第一个正确答案排第几,适合寻址与问答(见只看前排的P@N与MRR)。跨查询比较靠 MAP:先在查询内对各相关位置的准确率求平均、再对查询求平均,示例得 0.804 与 0.35,MAP≈0.577;另一条路是把 P–R 曲线插值到步长 0.1 的标准召回率等级再平均(见MAP用插值压成一条曲线)。
再进一步是分级相关与位置折损。CG 只把相关度相加,2、0、1 与 0、1、2 同分;DCG 用 1/log2(i+1) 给靠后位置打折(见DCG:位置折损如何进入增益)。DCG 不能跨查询平均,于是除以按最优排序算出的 IDCG,得到 0 到 1 的 nDCG(见NDCG为何要除以IDCG)。6.3 小结为收束。从 P/R 到 F、P@N、MRR、MAP、nDCG 的线索,在补齐三件事:相关性是否分级、位置是否计入、查询之间是否可比。
第7章 推荐系统框架及原理
第7章回答:推荐系统由哪些部分组成,一次请求怎么走完。核心问题被归为三个:预测喜好、排序、可解释性。
框架按两个维度切分:用不用实时数据、保不保证实时服务。离线层两者都不,做全量训练与候选生成;存储层放画像、行为、物品属性、模型参数与索引;近线层用实时数据但不保证实时返回;在线层两者都保证。去掉近线层即三层架构,代价是新鲜度。组件与层不一一对应:推荐服务接请求,存储做公共黑板,离线学习批量训练,在线学习实时微调,见 推荐系统的四层架构与组件职责。
一次请求走召回—排序:物品太多无法逐一打分,召回用多路策略圈候选,排序再粗排、精排、再排序。切分不只为了提速——召回决定候选集天花板,排序只能在候选内优化,两段指标要分开看、口径要对齐,见 召回与排序:两阶段流水线。搜索为人找信息、推荐让内容被消费、广告为信息找人,三者底层相通,见 为人找信息还是为信息找人。
EE 讲流量分配:只利用会被早期数据锁在局部最优,只探索则收敛慢,本质是用短期准确性换长期收益,工具是 MAB 与累积遗憾,见 探索与利用的权衡。冷启动讲数据缺失:用户缺行为、物品缺被动行为、系统连内容都不足,替代信号是热门、注册信息、第三方数据,内容属性,专家标注,见 冷启动的三种类型与五类对策、用户冷启动的三类信号、物品冷启动:内容属性的三种类型、专家标注建音乐基因。
召回分两族:行为相似靠协同过滤,User-based 算行向量、Item-based 算列向量,转置对称,工程上多用后者;邻域 K 与相似度度量决定效果,缺陷是稀疏、冷启动与热门主导,见 协同过滤的邻域选择与行列对偶、相似度度量与协同过滤的边界。内容相似靠表示学习,Word2Vec 用 CBOW 或 Skip-gram,再以分层 Softmax 或负采样降成本,见 Word2Vec的两种训练模式。
排序先解决输入再解决模型:特征分基础与组合,线性模型依赖人工组合,深度交叉模型能自学高阶组合但仍依赖输入质量;五类预处理问题靠标准化、缩放、二值化、哑编码解决,见 特征工程:基础特征与组合特征、特征预处理:五类问题与对应手段。模型从 LR 到 FM/FFM、GBDT、深度模型逐代补能力也逐代留边界,见 排序模型从LR到深度。
知识图谱用实体与关系补行为之外的知识,接入有依次、联合、交替三种,耦合越紧效果通常越好、成本越高,见 知识图谱引入推荐的三种方式;它还能给出可展示的多跳理由并缓解稀疏与跨领域问题,见 知识图谱为什么能提升可解释性。7.6 只是小结,不再成卡。
本章是第2章概念与第8章算法之间的桥。第8章的矩阵分解、FM/FFM、树模型、Wide & Deep、Deep FM 分别落在流水线某一阶段;判断标准是输出「一批候选」还是「对既定候选打分」。矩阵分解的隐向量可做近邻检索,主要服务召回,也可作排序特征;LR、FM/FFM、GBDT、深度模型输入多特征输出分数,落在精排。第8章也明确:召回数据量大要求快,模型不能太复杂;排序候选少,模型要精确、特征更多。本章的瓶颈与需求,正是第8章要解决的问题。
原书依据 · 16 处
- 第7章 推荐系统框架及原理 · 查看原书依据
- 第7章 推荐系统框架及原理 · 查看原书依据
- 第7章 推荐系统框架及原理 · 查看原书依据
- 第7章 推荐系统框架及原理 · 查看原书依据
- 第7章 推荐系统框架及原理 · 查看原书依据
- 第7章 推荐系统框架及原理 · 查看原书依据
- 第7章 推荐系统框架及原理 · 查看原书依据
- 第7章 推荐系统框架及原理 · 查看原书依据
- 第7章 推荐系统框架及原理 · 查看原书依据
- 第7章 推荐系统框架及原理 · 查看原书依据
- 第7章 推荐系统框架及原理 · 查看原书依据
- 第7章 推荐系统框架及原理 · 查看原书依据
- 第7章 推荐系统框架及原理 · 查看原书依据
- 第7章 推荐系统框架及原理 · 查看原书依据
- 第7章 推荐系统框架及原理 · 查看原书依据
- 第7章 推荐系统框架及原理 · 查看原书依据
第8章 推荐系统的主要算法
本章把排序阶段常用的算法按家族梳理:矩阵分解、线性模型、树模型、深度模型。它们都在应对稀疏特征下的组合信号问题。用「特征交叉能力与参数量」这条线看,四类模型的演进就清楚了。
8.1 的矩阵分解提供了一件反复借用的工具:低维隐向量。近邻模型为什么改用低秩矩阵分解 说明近邻方法为何在高维稀疏矩阵上失效;推荐分数是两个向量内积 把预测变成两向量内积,并用正则项控制方差。用隐式反馈补评分缺口 把点击与属性并入用户表示;ALS交替解与加权置信度 换一种解法:固定一侧时可直接解线性方程组,还能按用户并行,加权版把「没观测」与「不喜欢」分开。但 SVD/ALS 是单文档方法,只能把缺失当负样本,BPR为什么用三元组样本 改成三元组只学相对顺序,两个独立假设导出BPR目标 说明两条独立假设如何把最大后验拆成成对 sigmoid 加 L2 先验。
8.2 从 LR 讲起。二阶交叉的维度爆炸 指出:为每个组合配权重,参数 O(n²),稀疏数据下多数组合从未共现,权重学不出来。FM用内积表达二阶交叉 把 w_ij 拆成 :参数降到 nk,未共现组合也能借中间特征传递信息,复杂度压到 O(kn)。FFM用场做更细的交叉 继续加表达力,代价是参数变 nfk、复杂度回到 O(kn²)。
8.3 换到树模型:召回要快,排序数据少、可用复杂模型。决策树的三个分裂准则 讲清三种分裂准则,以及增益率如何纠正 ID3 偏爱多取值特征;前剪枝与后剪枝的分工 说明为何必须控制复杂度。单树不够强,GBDT 为什么拟合残差 用加法模型沿负梯度补足误差,平方损失下负梯度就是残差。树还能当特征生成器:GBDT+LR的分层思路 把根到叶路径变成 one-hot 交给 LR,自动获得高阶交叉,代价是两段分开训练。XGBoost为何加正则项 把树复杂度写进目标并用二阶展开求闭式解;LightGBM快的三个原因 从采样、特征捆绑、生长方式三处降成本。树的交叉离散、阶数不限但不可微,与 FM 的显式二阶、可微互补。
8.4 把交叉交给网络。Wide&Deep的记忆与泛化 用宽侧人工交叉承担记忆、深侧嵌入承担泛化,且是联合训练;FTRL与AdaGrad的差别 解决上亿维稀疏特征下的步长与稀疏解,是上线前提;DeepFM共享嵌入的两路 把宽侧 LR 换成 FM,同一份嵌入既算二阶内积又喂隐层,参数只由场数与维度决定,代价是两路耦合、训练慢。
合起来看:线性模型参数最少、只有一阶;FM/FFM 用隐向量买到二阶或场感知交叉,参数从 n² 降到 nk/nfk;树模型靠分裂自动产生高阶交叉,但离散、需剪枝;深度模型用共享嵌入兼顾低阶与高阶,参数随场数线性增长。8.5 小结只做归总,无新机制,不单独成卡。
原书依据 · 18 处
- 第8章 推荐系统的主要算法 · 查看原书依据
- 第8章 推荐系统的主要算法 · 查看原书依据
- 第8章 推荐系统的主要算法 · 查看原书依据
- 第8章 推荐系统的主要算法 · 查看原书依据
- 第8章 推荐系统的主要算法 · 查看原书依据
- 第8章 推荐系统的主要算法 · 查看原书依据
- 第8章 推荐系统的主要算法 · 查看原书依据
- 第8章 推荐系统的主要算法 · 查看原书依据
- 第8章 推荐系统的主要算法 · 查看原书依据
- 第8章 推荐系统的主要算法 · 查看原书依据
- 第8章 推荐系统的主要算法 · 查看原书依据
- 第8章 推荐系统的主要算法 · 查看原书依据
- 第8章 推荐系统的主要算法 · 查看原书依据
- 第8章 推荐系统的主要算法 · 查看原书依据
- 第8章 推荐系统的主要算法 · 查看原书依据
- 第8章 推荐系统的主要算法 · 查看原书依据
- 第8章 推荐系统的主要算法 · 查看原书依据
- 第8章 推荐系统的主要算法 · 查看原书依据
第9章 推荐系统的评价
第9章处理推荐系统落地时最容易被含糊带过的一环:怎么证明它变好了。按「为什么评—用什么评—在哪个阶段评」展开,把模型放回业务里检验。
9.1 立前提:评估的标尺来自产品定位。推荐系统分发的是用户说不清的需求,精准度只是一项,惊喜度、多样性、稳定性、承载大规模访问的能力都在范围内;目的不是打分,而是找优化点、兼顾商业收益(评估的第一把尺子:产品定位)。
9.2 给指标分维度。同一批结果在用户、平台方、标的物、系统自身四个立场上的好坏可以相反,因此不能把指标加成总分(评价体系为什么分成四个维度)。用户维度里最需辨析的是惊喜度与新颖性:一个跳出兴趣邻域,一个补信息盲区(惊喜新颖信任不是一回事)。
具体指标按「回答什么问题」分两类。评分预测类(RMSE、MAE、R²)要求有显式评分,衡量分数拟合程度(评分误差指标的前提)。排序类(MAP、MRR、NDCG)只看相关结果的位置:AP 在每个相关结果处记下当时的准确率再平均,MRR 只看第一个命中(位置敏感的MAP与MRR)。两类不可互换——顺序不变而分数整体缩放时,RMSE 变差、NDCG 不变。9.2.3 的 ROC/AUC 扫描所有阈值,坐标是类内归一化的 TPR 与 FPR,对正负样本比例不敏感(AUC为何不受样本比例影响)。
9.3 是实验方法。先离线:抽日志、分训练测试集、批量跑模型,快且不碰线上,但算不出核心商业指标、预测与真实有差距(离线评估算不出商业结果)。离线指标还包括覆盖率、多样性、实时性、鲁棒性:多样性两种度量方向相反,IntraSimilarity 越大反而越「不多样」(多样性的列表内与列表间);实时性分 T+1 到秒级四级、按消耗时长定,鲁棒性靠选模型、洗特征、完善日志来保——两者偏工程约束,不单独成卡。
在线 A/B 随机同质分流、跑满周期,看服务段(200ms、稳定性、抗并发)与业务段(漏斗转化、留存)。离线与在线背离不是异常,而是结构差异的必然结果(A/B实验为何与离线背离)。迭代快于流量时用 Interleaving:混排两路结果、均等给优先权,样本需求可降到 A/B 的百分之一,代价是留存这类整体指标无法分组(交错实验把样本需求降百倍)。
最后是主观评估。用户调查填的是「离线算不出、线上还不敢上」的空隙(主观评估:用户调查补的是哪一段);最大风险是样本偏差:直接问满意度得不到真话,客服反馈只覆盖存留用户,销售与客服都触达不到库外新用户(用户调查的两个偏差)。
9.4 小结只重申三段是通用流程、需按实际系统调整,未提新概念,不单独成卡。全章偏方法论,为后面偏工程的第10~12章提供判断依据。
本章其余要点:三种范式各自的准确度。
第10章 搜索引擎工具
第10章把检索原理落到三个工具上:Lucene、Solr、Elasticsearch。共同前提是一个矛盾——邮件、HTML、Word 没有固定字段,只能顺序扫描,量一大就慢到不可用;解法是先分词,建成「词→文档」的倒排表,查询改为查表求交,这就是把文档变成可定位索引。Lucene 是这一思路的 Java 实现,负责分词、正倒排、查询解析与打分。
理解 Lucene 的关键是「段」:它是最小独立存储单元,写出后只读,新增只能开新段,删除只打标记,修改等于删旧加新,因此必须后台合并。段为什么写入后不可变讲清并发与缓存的收益和段膨胀的代价。建索引的四步流水线把「添加文档—正排—倒排—flush 落盘」串成一条链,flush 由条数、内存、显式提交或合并触发,不是每条文档一次。一次查询走过的四个阶段看查询侧:语法树、重写、Weight、Scorer、collect 越往后越贵,打分常是瓶颈。从词到文档的查找链补上:词典先整体载入内存(很贵,Searcher 要复用),再沿 Term→TermsEnum→倒排表定位,文档号递增使多词求交可跳跃推进。
Lucene 只是库,接入、配置、分片与容错谁来做?Solr把Lucene包成平台:HTTP 加 XML/JSON 的类 REST 接口,分片解决容量与查询并行,副本解决故障接管。落地先定 Schema——Schema决定了什么说明文档粒度决定召回量,indexed 与 stored 分别控制「能否搜到」与「能否展示」,Schemaless 自动猜类型在中文场景容易踩坑。集群协调交给Zookeeper再谈分片、副本、故障切换与自动缩放,以及副本须同步的前提。
Elasticsearch 把分布式能力做进引擎:近实时靠的是刷新解释写入为何先落文件系统缓存、再由 fsync 持久化,所以只是「近实时」;主分片数为什么不能改说明分片的容量与并行价值,以及路由为何锁死主分片数;选主、假死与脑裂串起选主、推迟选举、法定票数与 quorum。最后三个工具的定位差异回到选型:库、应用、引擎,各自补齐不同层。10.5 仅复述小结,无新增信息,不单独成卡。
第11、12章实战以这章为底座:要建索引、定字段、设刷新与分片、写查询与过滤,再做排序、候选生成与评估。不熟悉段、词典、Schema、分片这些约束,遇到「搜不到」「结果旧」「扩容后变慢」就只能靠试错。
第11章 搜索应用实战:基于电商的搜索开发
第11章把前几章的检索原理、排序模型与评价指标放进具体场景:百万级商品的电商搜索。主线是一条链路——用户输入先被理解,再被拿去召回,候选经排序模型打分,最后叠加商业策略返回页面,每一环的取舍最终都换算成转化率。
架构上,电商搜索要同时满足两个相反的要求:搜得准决定用户翻不翻第二页,搜得全决定百万级商品有没有机会被看到,二者都指向转化率,不能只压一端(准与全落在同一个转化率)。围绕它展开的分词、纠错、无结果兜底、排序等七个着力点里,第4章的分词与倒排第一次成为工程组件。
落地载体是开源分布式搜索引擎 ES。分片是索引的水平切分,查询由各分片返回候选再归并,分片数因此是读性能与写吞吐的容量决策(分片数是效率与吞吐的取舍);查询快慢的物理本质是索引有没有留在堆外内存,由此派生出关 swap、预热、禁用 _source、合并段这些动作(查询快慢看索引在不在堆外)。
NLP 站在链路最前端。查询理解用查询日志和点击日志把一串字变成纠错词、同义词、扩展约束与意图,其输出即召回与排序的输入,错一步会向下游放大(把输入翻译成可检索意图)。难点集中在长尾:规则要人工枚举追不上,机器学习缺样本学不动,这是第5章方法在真实分布下的边界(长尾查询让两种方法失效)。
排序之前要先定义「用户当前兴趣」,做法是画像、行为、热点综合。画像的关键动作是切网格:细则区分度高但桶内样本少,粗则样本稳但没区分度,还要叠加用户侧与商品侧的时效(画像切分看区分度与时效)。模型选型受延迟预算与可解释性双重约束,规则、逻辑回归、树模型常用不是因为效果最好,而是因为能解释(选排序模型先看延迟预算)。
评价承接第6章:离线分效率与效果,效果看 P/R/F、MAP、nDCG、AUC;但离线每个模型只优化单一目标,线上要把点击、转化、成交加权融合,权重是业务判断而非算法结论(离线评单目标线上评多目标)。深度学习一节很短,它改变输入与特征来源,未推翻召回—排序的分层(深度学习改的是输入与特征)。
商业侧,SEM 是叠在自然排序上的独立层,用添加(硬插)或重排(提权)介入结果:前者变现强而伤精度,后者温和而价格弱;流量能卖,是因为购买量可拆成流量、浏览系数、服务系数、商品属性四项,广告买的是第一项(商业策略介入排序的两种强度)。11.8 小结收尾大促经验,无新机制,不单独成卡。
原书依据 · 10 处
- 第11章 搜索应用实战:基于电商的搜索开发 · 查看原书依据
- 第11章 搜索应用实战:基于电商的搜索开发 · 查看原书依据
- 第11章 搜索应用实战:基于电商的搜索开发 · 查看原书依据
- 第11章 搜索应用实战:基于电商的搜索开发 · 查看原书依据
- 第11章 搜索应用实战:基于电商的搜索开发 · 查看原书依据
- 第11章 搜索应用实战:基于电商的搜索开发 · 查看原书依据
- 第11章 搜索应用实战:基于电商的搜索开发 · 查看原书依据
- 第11章 搜索应用实战:基于电商的搜索开发 · 查看原书依据
- 第11章 搜索应用实战:基于电商的搜索开发 · 查看原书依据
- 第11章 搜索应用实战:基于电商的搜索开发 · 查看原书依据
第12章 推荐应用实战:基于广告的推荐
本章把前文的召回、排序、评估方法落到一个具体业务:广告。起点是一个三方结构——平台要变现、广告主要转化、用户要体验,计算广告的问题因此不是推得准不准,而是给定上下文怎么投整体价值最大。技术与业务在这里必须分开看:推荐是一种技术,广告是一种业务,个性化推荐只是计算广告的一个环节;同一条 CTR 模型,广告侧用它最大化收益,推荐侧还要为惊喜度、新颖性和留存负责,这就是 广告为什么不只优化点击 的由来。
12.1 用一个 DSP 架构把链路摊开:枢纽收请求,检索保相关性,排序在约束下求收益最大,特征计算、计费、投放三个模块在外围供血。这样切的理由是先便宜地砍、再昂贵地算:相关性门槛既是体验保护也是算力保护,详见 DSP广告系统的五个模块。
12.2 处理候选从哪来:冷启动先破「没曝光就没反馈」的死循环,两条路分别是多臂赌博机的在线探索与基于内容的属性匹配,Google 的关键词召回和它的时效性正好说明了后者的边界,见 广告冷启动的两条路。常规召回则分上下文的图片/标题/地域匹配、用户行为的画像-查询-回传三路、以及深度模型一路,三者的有效条件不同,线上按用户状态加权,见 广告召回的三条通路。
12.3 的 ES 不是算法而是承载物:它靠分片并发与近实时写入,把按条件取候选做成毫秒级操作,因此站在召回与过滤位上,而非排序位上,见 为什么用 ES 承载推荐召回。
12.4 讲查询进入系统前的加工:分词、类目识别(当文本分类做)与查询重写——同义扩展、用知识图谱补全品牌、把相关性判定转成排序学习。这一节实际在说数据准备比模型选择更影响效果,见 从分词到图谱的查询重写。
12.5 是本章重心:粗排负责把万级候选截断到百级,精排才用 CTR 模型细算,级联结构由延迟预算倒推出来,截断过早是不可补救的失败模式(粗排与精排的分工由算力预算决定)。而 CTR 之所以关键,是因为 eCPM = Bid × CTR 决定排序,GSP 扣费又依赖相邻 CTR,估偏一点就同时损失收入和生态(CTR预估为何决定扣费)。
12.6 收口在评估:离线快但可能与线上不一致,在线真但贵,主观能解释指标看不到的问题,三者串成迭代闭环(三层评估各管什么)。12.7 用阿里的 MLR→GWEN→DIN/DIEN 说明从特征驱动转向数据驱动(CTR模型从特征走向模型)。12.8 纯收束,不另立卡。
跨章综合
第一条线:稀疏性是两侧共同的敌人。 推荐侧的协同过滤在高维稀疏矩阵上失效(第7章),于是矩阵分解把用户和物品压到低维隐向量,让没共现过的组合也能借中间特征传递信息(第8章);FM 再把二阶交叉的参数从 n² 降到 nk,深度模型用共享嵌入同时表达低阶与高阶。搜索侧是同一个问题的另一种形态:词面匹配无法处理「手机壳」与「保护套」,于是有了 LSI 的隐空间、查询似然的生成视角,最后是 DSSM 的双塔与 Transformer 的自注意力。两条线最终都走向「学一个表示,在表示空间里比距离」,这不是巧合——当观测数据不足以覆盖组合时,唯一的出路是从结构上借信息。
第二条线:代理指标与评估必须成对出现。 第5章开篇就承认相关度是用户判断、不可直接测量,所以检索模型构造的是代理;第6章的 nDCG 是代理的代理——它假定分级标注能代表满意度;第9章则直接指出离线指标与线上收益会结构性背离,原因不是算错,而是两者优化的目标不同;第11章把这条推到工程层面:离线每个模型只优化单一目标,线上必须把点击、转化、成交加权融合,权重是业务判断而不是算法结论。把这条线读通,就不会再把「离线涨点」当成「线上变好」的同义词。
第三条线:延迟预算塑造了所有分层架构。 第4章的扩展层重搜、第7章的召回与排序、第12章的粗排与精排,看起来是三个不同层级的设计,本质是同一约束在不同尺度上的表达:一次请求能做的计算量有上限,所以必须先用便宜的方法把候选砍到可承受的规模,再用贵的方法精算。这条约束还解释了一个反复出现的失败模式——截断过早不可补救。召回漏掉的物品,排序阶段再强也捞不回来,这正是「召回决定天花板」的含义。
第四条线:知识图谱被四次复用。 第3章造出实体、关系与置信度这三样原料;第4章用它做查询理解与结果扩展,把「匹配 URL」变成「回答问题」;第7章用它做冷启动与可解释推荐,在没有行为数据时用语义边给出理由;第12章用它做查询重写,把品牌、类目这些结构化约束补进检索式。同一种表示在四个位置发挥作用,说明它的价值不在「图」这个形式,而在它把世界知识变成了可检索的结构。
第五条线:用写入期的固定换查询期的性能。 Lucene 的段写出后不可变,删改只能标记与合并;Elasticsearch 的主分片数一旦确定不能改,因为路由靠它取模;Solr 的 Schema 在索引前就要定好字段与类型。三者都是同一个交易:接受写入期的僵化,换取查询期的可预测与可缓存。理解了这笔交易,遇到「为什么不能改」「为什么删了不释放空间」「为什么新字段搜不到」时,就知道该往哪里查,而不是靠试错。
发散与实践
以下为读者延伸,不是作者主张,也未实际执行;四张实践卡的书中依据、行动步骤与验证办法见 ideas/ 目录。
ideas/idea-001-BM25参数与排序敏感度.md:按第5章的 BM25 公式,在自己可控的小语料上改 k1 与 b,观察排序结果怎么变,验证「k1 让词频收益封顶、b 决定长文档惩罚」这两句话的实际手感。ideas/idea-002-三类检索模型横向对照.md:用同一批查询与同一份语料,比较布尔、向量空间(TF-IDF 余弦)与 BM25 的排序差异,回答「概率模型到底比经验公式多做了什么」。ideas/idea-003-召回排序链路审计.md:按第7章的召回—排序分层与第12章的粗排精排级联,给自己熟悉的一个搜索或推荐功能画出真实链路,标出每一段的候选规模与延迟预算。ideas/idea-004-排序改版的评估方案.md:按第6章与第9章,为一次排序改版同时准备离线 nDCG、在线 A/B 与主观评估三层证据,并预先写下「离线涨而线上不涨」时的排查顺序。