来源书籍

智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)

Skill 版本:v24 169 张卡片

刘宇 等著 · 机械工业出版社 · 2021 · ISBN 978-7-111-67067-4

章节与卡片

00

1 张卡片
  1. 三者共用一套技术骨架 理解等级:高级 普通读书笔记卡

01 第1章 概率统计与应用数学基础知识

12 张卡片
  1. 贝叶斯公式的三个部件 理解等级:高级 结构图卡
  2. 先分类型再选概率分布 理解等级:中级 普通读书笔记卡
  3. 期望方差协方差各答什么 理解等级:中级 普通读书笔记卡
  4. 矩阵的形状秩与可逆性 理解等级:中级 普通读书笔记卡
  5. Lp 范数的三种常用取值 理解等级:中级 普通读书笔记卡
  6. 特征分解给出伸缩方向 理解等级:高级 普通读书笔记卡
  7. 奇异值分解也能拆非方阵 理解等级:高级 普通读书笔记卡
  8. 梯度是局部最陡方向 理解等级:中级 普通读书笔记卡
  9. 最大似然选最可能的参数 理解等级:高级 结构图卡
  10. 隐马尔可夫模型的三组参数 理解等级:高级 结构图卡
  11. 信息熵:不确定性的比特数 理解等级:中级 普通读书笔记卡
  12. 熵族三个量各自的用途 理解等级:高级 普通读书笔记卡

02 第2章 搜索系统和推荐系统常识

11 张卡片
  1. 检索搜索与引擎的边界 理解等级:中级 普通读书笔记卡
  2. 搜索引擎的四个部件与两条节奏 理解等级:中级 结构图卡
  3. 相关性依据的三次更替 理解等级:高级 普通读书笔记卡
  4. 元搜索不建索引只调度 理解等级:中级 结构图卡
  5. 垂直搜索的差别不在范围 理解等级:高级 普通读书笔记卡
  6. 推荐的两个特征 理解等级:初级 普通读书笔记卡
  7. 三十年换的是瓶颈 理解等级:高级 普通读书笔记卡
  8. 三种推荐方法各自押了什么假设 理解等级:高级 普通读书笔记卡
  9. 混合推荐的两个层次 理解等级:高级 普通读书笔记卡
  10. 意图是否明确,决定了输入是什么 理解等级:高级 结构图卡
  11. 搜索求快走推荐求久留 理解等级:高级 普通读书笔记卡

03 第3章 知识图谱相关理论

18 张卡片
  1. 知识图谱的三要素 理解等级:初级 普通读书笔记卡
  2. 图谱把匹配变成推理 理解等级:中级 普通读书笔记卡
  3. 强下位关系是最可用的边 理解等级:中级 普通读书笔记卡
  4. 模式层与数据层谁先行 理解等级:中级 结构图卡
  5. 知识表示四代与RDF收敛 理解等级:高级 普通读书笔记卡
  6. NER四代技术各补了什么 理解等级:中级 结构图卡
  7. 实体识别就是序列标注 理解等级:中级 普通读书笔记卡
  8. CRF为什么适合序列标注 理解等级:高级 普通读书笔记卡
  9. 观测特征与转移特征分工 理解等级:中级 普通读书笔记卡
  10. 自动提特征后为何要CRF 理解等级:高级 结构图卡
  11. 关系抽取的写与学两条路 理解等级:中级 普通读书笔记卡
  12. 实体对齐的成对与协同 理解等级:中级 普通读书笔记卡
  13. 消歧与对齐不是一件事 理解等级:高级 普通读书笔记卡
  14. 知识推理的两种用法:补全与质检 理解等级:中级 普通读书笔记卡
  15. 硬规则软化成功率权重 理解等级:高级 普通读书笔记卡
  16. 归纳推理从图里挖规则 理解等级:中级 普通读书笔记卡
  17. 把推理变成向量打分 理解等级:中级 普通读书笔记卡
  18. 质量评估:众包投票在哪里失效 理解等级:中级 普通读书笔记卡

04 第4章 搜索系统框架及原理

22 张卡片
  1. 四组件与它们之间的回路 理解等级:中级 结构图卡
  2. 召回不足时退回扩展层 理解等级:高级 普通读书笔记卡
  3. 把自然语言压成检索要素 理解等级:中级 普通读书笔记卡
  4. 爬虫的一轮抓取循环 理解等级:中级 结构图卡
  5. 爬虫的四种类型与三条质量线 理解等级:初级 普通读书笔记卡
  6. 待抓URL的三种排序策略 理解等级:中级 普通读书笔记卡
  7. 网页更新策略:什么时候该重抓 理解等级:高级 普通读书笔记卡
  8. SimHash把文档压成指纹 理解等级:中级 结构图卡
  9. 倒排索引与前向索引的差别 理解等级:中级 普通读书笔记卡
  10. 用公共前缀换查询时间 理解等级:高级 普通读书笔记卡
  11. 查询预处理的三件事 理解等级:初级 操作参考卡
  12. 分词的英文特例与中文难题 理解等级:中级 普通读书笔记卡
  13. 中文分词的三类算法 理解等级:中级 普通读书笔记卡
  14. 查询建议从PV到点击建模 理解等级:高级 普通读书笔记卡
  15. 查询纠错:噪声信道与编辑距离 理解等级:高级 普通读书笔记卡
  16. 停用词、同义词与检索要素权重 理解等级:高级 普通读书笔记卡
  17. 意图识别的难点与精准/模糊之分 理解等级:中级 普通读书笔记卡
  18. 意图分类:标签体系与模型选型 理解等级:高级 普通读书笔记卡
  19. 层次聚类:合并规则决定聚类形状 理解等级:中级 普通读书笔记卡
  20. K 均值:硬聚类与 k 的选择 理解等级:中级 普通读书笔记卡
  21. LDA是三层贝叶斯模型 理解等级:高级 普通读书笔记卡
  22. 知识图谱为什么能改善搜索 理解等级:中级 普通读书笔记卡

05 第5章 搜索系统中的主要算法

16 张卡片
  1. 相关度是判断,不是文档的属性 理解等级:初级 普通读书笔记卡
  2. 布尔模型:能判匹配,不能排序 理解等级:中级 普通读书笔记卡
  3. 向量空间模型要回答的三个问题 理解等级:中级 普通读书笔记卡
  4. 用IDF压住常见词 理解等级:高级 普通读书笔记卡
  5. 余弦相似度:把文档长度除掉 理解等级:中级 普通读书笔记卡
  6. BIM:把“相关”写成概率比 理解等级:高级 普通读书笔记卡
  7. k1控饱和b控长度惩罚 理解等级:高级 普通读书笔记卡
  8. 查询似然等三条路线 理解等级:高级 普通读书笔记卡
  9. 排序学习:把人工拟合换成训练 理解等级:中级 普通读书笔记卡
  10. 三种排序学习范式的损失构造 理解等级:高级 普通读书笔记卡
  11. 线性打分再过Sigmoid 理解等级:高级 普通读书笔记卡
  12. Boosting与Bagging分工 理解等级:中级 普通读书笔记卡
  13. 全连接ReLU与梯度下降 理解等级:中级 普通读书笔记卡
  14. DSSM的双塔与softmax 理解等级:高级 结构图卡
  15. 自注意力到底怎么算 理解等级:中级 结构图卡
  16. 位置编码:给自注意力注入词序 理解等级:中级 普通读书笔记卡

06 第6章 搜索系统评价

10 张卡片
  1. 性能与效益两条评价线 理解等级:中级 结构图卡
  2. 响应时间的口径与影响因素 理解等级:中级 普通读书笔记卡
  3. 索引量是一根双向杠杆 理解等级:中级 结构图卡
  4. 四格表里的两个错误率 理解等级:中级 普通读书笔记卡
  5. 精确率与召回率怎么取舍 理解等级:高级 普通读书笔记卡
  6. F值为何用调和平均 理解等级:中级 普通读书笔记卡
  7. 只看前排的P@N与MRR 理解等级:中级 普通读书笔记卡
  8. MAP用插值压成一条曲线 理解等级:中级 普通读书笔记卡
  9. DCG:位置折损如何进入增益 理解等级:中级 普通读书笔记卡
  10. NDCG为何要除以IDCG 理解等级:高级 普通读书笔记卡

07 第7章 推荐系统框架及原理

16 张卡片
  1. 推荐系统的四层架构与组件职责 理解等级:中级 结构图卡
  2. 召回与排序:两阶段流水线 理解等级:中级 结构图卡
  3. 为人找信息还是为信息找人 理解等级:中级 普通读书笔记卡
  4. 探索与利用的权衡 理解等级:高级 普通读书笔记卡
  5. 冷启动的三种类型与五类对策 理解等级:中级 普通读书笔记卡
  6. 用户冷启动的三类信号 理解等级:中级 普通读书笔记卡
  7. 物品冷启动:内容属性的三种类型 理解等级:中级 普通读书笔记卡
  8. 专家标注建音乐基因 理解等级:中级 普通读书笔记卡
  9. 协同过滤的邻域选择与行列对偶 理解等级:中级 普通读书笔记卡
  10. 相似度度量与协同过滤的边界 理解等级:高级 普通读书笔记卡
  11. Word2Vec的两种训练模式 理解等级:中级 普通读书笔记卡
  12. 特征工程:基础特征与组合特征 理解等级:中级 普通读书笔记卡
  13. 特征预处理:五类问题与对应手段 理解等级:中级 操作参考卡
  14. 排序模型从LR到深度 理解等级:高级 普通读书笔记卡
  15. 知识图谱引入推荐的三种方式 理解等级:中级 结构图卡
  16. 知识图谱为什么能提升可解释性 理解等级:高级 普通读书笔记卡

08 第8章 推荐系统的主要算法

18 张卡片
  1. 近邻模型为什么改用低秩矩阵分解 理解等级:中级 普通读书笔记卡
  2. 推荐分数是两个向量内积 理解等级:中级 普通读书笔记卡
  3. 用隐式反馈补评分缺口 理解等级:高级 普通读书笔记卡
  4. ALS交替解与加权置信度 理解等级:高级 结构图卡
  5. BPR为什么用三元组样本 理解等级:高级 普通读书笔记卡
  6. 两个独立假设导出BPR目标 理解等级:高级 普通读书笔记卡
  7. 二阶交叉的维度爆炸 理解等级:中级 普通读书笔记卡
  8. FM用内积表达二阶交叉 理解等级:高级 普通读书笔记卡
  9. FFM用场做更细的交叉 理解等级:高级 普通读书笔记卡
  10. 决策树的三个分裂准则 理解等级:中级 普通读书笔记卡
  11. 前剪枝与后剪枝的分工 理解等级:高级 普通读书笔记卡
  12. GBDT 为什么拟合残差 理解等级:高级 结构图卡
  13. GBDT+LR的分层思路 理解等级:高级 结构图卡
  14. XGBoost为何加正则项 理解等级:高级 普通读书笔记卡
  15. LightGBM快的三个原因 理解等级:高级 普通读书笔记卡
  16. Wide&Deep的记忆与泛化 理解等级:高级 结构图卡
  17. FTRL与AdaGrad的差别 理解等级:高级 普通读书笔记卡
  18. DeepFM共享嵌入的两路 理解等级:高级 结构图卡

09 第9章 推荐系统的评价

13 张卡片
  1. 评估的第一把尺子:产品定位 理解等级:中级 普通读书笔记卡
  2. 评价体系为什么分成四个维度 理解等级:高级 结构图卡
  3. 惊喜新颖信任不是一回事 理解等级:中级 普通读书笔记卡
  4. 三种范式各自的准确度 理解等级:高级 普通读书笔记卡
  5. 评分误差指标的前提 理解等级:中级 普通读书笔记卡
  6. 位置敏感的MAP与MRR 理解等级:中级 普通读书笔记卡
  7. AUC为何不受样本比例影响 理解等级:高级 普通读书笔记卡
  8. 离线评估算不出商业结果 理解等级:中级 结构图卡
  9. 多样性的列表内与列表间 理解等级:中级 普通读书笔记卡
  10. A/B实验为何与离线背离 理解等级:高级 普通读书笔记卡
  11. 交错实验把样本需求降百倍 理解等级:高级 普通读书笔记卡
  12. 主观评估:用户调查补的是哪一段 理解等级:中级 普通读书笔记卡
  13. 用户调查的两个偏差 理解等级:高级 普通读书笔记卡

10 第10章 搜索引擎工具

12 张卡片
  1. 把文档变成可定位索引 理解等级:中级 普通读书笔记卡
  2. 段为什么写入后不可变 理解等级:高级 普通读书笔记卡
  3. 建索引的四步流水线 理解等级:中级 结构图卡
  4. 一次查询走过的四个阶段 理解等级:中级 结构图卡
  5. 从词到文档的查找链 理解等级:高级 普通读书笔记卡
  6. Solr把Lucene包成平台 理解等级:中级 普通读书笔记卡
  7. Schema决定了什么 理解等级:中级 操作参考卡
  8. 集群协调交给Zookeeper 理解等级:中级 普通读书笔记卡
  9. 近实时靠的是刷新 理解等级:高级 普通读书笔记卡
  10. 主分片数为什么不能改 理解等级:高级 普通读书笔记卡
  11. 选主、假死与脑裂 理解等级:高级 普通读书笔记卡
  12. 三个工具的定位差异 理解等级:高级 普通读书笔记卡

11 第11章 搜索应用实战:基于电商的搜索开发

10 张卡片
  1. 准与全落在同一个转化率 理解等级:高级 普通读书笔记卡
  2. 分片数是效率与吞吐的取舍 理解等级:中级 结构图卡
  3. 查询快慢看索引在不在堆外 理解等级:高级 操作参考卡
  4. 把输入翻译成可检索意图 理解等级:中级 普通读书笔记卡
  5. 长尾查询让两种方法失效 理解等级:高级 问题卡
  6. 画像切分看区分度与时效 理解等级:高级 普通读书笔记卡
  7. 选排序模型先看延迟预算 理解等级:中级 普通读书笔记卡
  8. 离线评单目标线上评多目标 理解等级:高级 普通读书笔记卡
  9. 深度学习改的是输入与特征 理解等级:中级 普通读书笔记卡
  10. 商业策略介入排序的两种强度 理解等级:高级 普通读书笔记卡

12 第12章 推荐应用实战:基于广告的推荐

10 张卡片
  1. 广告为什么不只优化点击 理解等级:中级 普通读书笔记卡
  2. DSP广告系统的五个模块 理解等级:中级 结构图卡
  3. 广告冷启动的两条路 理解等级:中级 普通读书笔记卡
  4. 广告召回的三条通路 理解等级:中级 普通读书笔记卡
  5. 为什么用 ES 承载推荐召回 理解等级:中级 普通读书笔记卡
  6. 从分词到图谱的查询重写 理解等级:中级 普通读书笔记卡
  7. 粗排与精排的分工由算力预算决定 理解等级:高级 结构图卡
  8. CTR预估为何决定扣费 理解等级:高级 普通读书笔记卡
  9. 三层评估各管什么 理解等级:中级 普通读书笔记卡
  10. CTR模型从特征走向模型 理解等级:高级 普通读书笔记卡

全书概览

智能搜索和推荐系统:原理、算法与应用

评级:工程实践(信息浓度高 × 稳定性中)

评级理由:这本书的价值不在算法清单,而在判断链条:相关度是用户判断而非文档属性,所以检索模型构造的全是代理指标;召回决定候选天花板,排序只能在候选内优化;离线指标与线上收益会结构性背离,因为两者优化的目标不同。这些结论来自机制约束,换个技术栈仍然成立,属于可以长期迁移的部分。BM25 的 k1 为何让词频收益封顶、主分片数为何一旦确定不能改、BIM 为何能推出 RSJ 权重,都是把「为什么」讲到位的段落。

稳定性要打折的地方同样明确:第10章的工具细节(Lucene 段合并策略、Solr 与 ES 的默认配置、Zookeeper 在 ES 7 之后的角色变化)随版本变化;第11、12章的实战参数(分片数、超时、画像切分粒度)依赖具体业务体量;深度模型讲到 DSSM、Wide & Deep、DeepFM 与阿里 MLR→GWEN→DIN/DIEN 为止,之后的自注意力召回与预训练语言模型没有覆盖。因此按四象限记为「工程实践」而不是「经典原理」:原理部分耐久,工具与实战部分需要按当前版本核对。

执行模式:light

建档进度:done

全文阅读:spine 164 项;实质正文 13 项(前言 + 第1–12章,合计 171,821 个非空白字符),按 Go nodeText + Fields 归一化口径逐项完整读取;非正文 9 项逐项排除(见下表)。

整书笔记:_book_note.md

覆盖记录:_coverage.md

工作流交接:_workflow.md

章节进度追踪表

章节号 章节标题 状态 卡片数
00 前言 done 1
01 第1章 概率统计与应用数学基础知识 done 12
02 第2章 搜索系统和推荐系统常识 done 11
03 第3章 知识图谱相关理论 done 18
04 第4章 搜索系统框架及原理 done 22
05 第5章 搜索系统中的主要算法 done 16
06 第6章 搜索系统评价 done 10
07 第7章 推荐系统框架及原理 done 16
08 第8章 推荐系统的主要算法 done 18
09 第9章 推荐系统的评价 done 13
10 第10章 搜索引擎工具 done 12
11 第11章 搜索应用实战:基于电商的搜索开发 done 10
12 第12章 推荐应用实战:基于广告的推荐 done 10

非正文排除

spine项 类型 排除理由
titlepage.xhtml 封面 仅封面图,正文 5 个字符
text/part0000.html 版权信息 丛书名、书名、作者、ISBN、出版与发行方、客服信息,无论述
text/part0001.html 目录 全书目录条目,与各章标题重复,无独立内容
text/part0002.html 推荐序一 张俊林所作推荐序,非作者正文
text/part0003.html 推荐序二 第三方推荐序,非作者正文
text/part0005.html 部扉页 仅「第一部分 搜索和推荐系统的基础」及所辖章名
text/part0053.html 部扉页 仅「第二部分 搜索系统的基本原理」及所辖章名
text/part0088.html 部扉页 仅「第三部分 推荐系统的基本原理」及所辖章名
text/part0130.html 部扉页 仅「第四部分 应用」及所辖章名

待关联术语

术语名 出现章节 一句话语境
BERT 第3章 作为 NER 第四代技术的代表被一句带过(「BERT 模型提高 NER 识别率」),未展开预训练与微调机制
DIN 第12章 阿里 CTR 模型演进链(MLR→GWEN→DIN/DIEN)中的一环,仅说明其捕捉兴趣多样性,未展开注意力结构
DIEN 第12章 同上,与 DIN 并列提及,未单独解释
PageRank 第4章 提及「非完全 PageRank」用于待抓 URL 排序,未解释 PageRank 本身的随机游走与收敛

引用文献

标题 类型 出现章节 一句话语境
《这就是搜索引擎:核心技术详解》(张俊林) 书 前言 作者说明该书是张俊林的学习笔记,由此萌生把自己工作笔记整理成书的想法;未介绍书的内容

资金安全问题案例

问题标题 问题卡 解决方案卡(如有) 出现章节 一句话说明
— — — — 本书不涉及资金安全主题(广告计费仅在 CTR 与排序关系处提及,无并发或幂等案例)

实践卡进度

序号 实践标题 实践方式 状态 关联章节 产出
1 BM25 参数与排序敏感度 最小实验 done 第5章 ideas/idea-001-BM25参数与排序敏感度.md
2 三类检索模型横向对照 横向学习 done 第5章 ideas/idea-002-三类检索模型横向对照.md
3 召回排序链路审计 真实任务 done 第7章 ideas/idea-003-召回排序链路审计.md
4 排序改版的评估方案 决策实践 done 第6章 ideas/idea-004-排序改版的评估方案.md

实践候选筛选:done

优先执行:第 1 张(BM25 参数敏感度)成本最低,几十条文档加十来个查询即可跑出对照,能直接把「k1 饱和」从公式变成手感;第 3 张(链路审计)对自己手上的系统收益最大,一次梳理就能暴露「召回漏掉的分支」。

未采用候选与原因:第10章的「Lucene 段合并策略实测」(需要构造持续写入并观察段数量与查询延迟,个人环境难以复现生产规模,结论不可迁移)、第12章的「粗排截断比例实验」(需要真实广告流量与计费数据,涉及商业数据不可获取)、第3章的「NER 模型复现」(原文只给模型谱系与适用场景,没有可复现的数据集与超参,复现等于自选配置,无法验证书中结论)。

相关主题

从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。

暂无公开主题。