此笔记位置已失效,请从目录继续阅读。
全书导读
这本书面向工程实践,回答推荐系统从数据、召回、精排到重排与冷启动这一整条链路该如何设计、选型与调参。全书以分层架构为骨架,先建立推荐系统的目标与工程全貌,再逐层深入召回与精排两大核心,最后补齐粗排、蒸馏、工程优化、重排与冷启动等落地环节。阅读时应把书中的具体模型与参数当作「当时如何落地」的证据,真正可迁移的是每章反复出现的取舍推理:先指出某层在真实业务下的瓶颈,再说明引入的机制如何转移瓶颈,最后承认新机制本身带来的成本。
全书主线
贯穿全书的主线是「链路分层与逐层取舍」。第1–2章建立推荐系统的目标与分层架构认知;第3–4章补齐特征工程与评价指标这一通用底座;第5–6章给出机器学习与神经网络两类模型的调参工具箱;第7–8章分别深入召回与精排两大核心层的样本与模型选择;第9–10章补齐粗排、蒸馏、工程优化与重排;第11章收束于冷启动与流量控制这一落地常见难题。各章卡片既独立讲清一个想法,又通过 [[因果提升模型基本设定]]、[[S/T/X/R-Learner]] 等链接相互呼应,构成从数据、模型到工程落地的完整认知。
原书依据 · 1 处
1 什么是推荐系统
建立对推荐系统的整体认识:它解决什么问题、企业落地面临哪些挑战,以及架构与模型在其中各自承担的角色。本章依次覆盖:什么是推荐系统、1.1 深度理解推荐系统、1.2 企业在构建推荐系统时会面临哪些问题、1.3 4类主流推荐系统构建点拨、1.4 推荐系统怎么拉活促销、1.5 架构和模型在推荐系统落地中的作用。相关要点已拆为 10 张知识卡,列于下。
原书依据 · 10 处
- 什么是推荐系统 什么是推荐系统 · 查看原书依据
- 什么是推荐系统 1.1 深度理解推荐系统 · 查看原书依据
- 什么是推荐系统 1.1 深度理解推荐系统 · 查看原书依据
- 什么是推荐系统 2.5 重排层概述 · 查看原书依据
- 什么是推荐系统 1.2 企业在构建推荐系统时会面临哪些问题 · 查看原书依据
- 什么是推荐系统 1.2 企业在构建推荐系统时会面临哪些问题 · 查看原书依据
- 什么是推荐系统 1.3 4类主流推荐系统构建点拨 · 查看原书依据
- 什么是推荐系统 1.3 4类主流推荐系统构建点拨 · 查看原书依据
- 什么是推荐系统 1.4 推荐系统怎么拉活促销 · 查看原书依据
- 什么是推荐系统 1.5 架构和模型在推荐系统落地中的作用 · 查看原书依据
2 推荐系统架构
给出推荐系统的分层架构全景:召回、粗排、精排、重排与冷启动各环节的定位与协作关系。本章依次覆盖:推荐系统架构、2.1 推荐系统架构概述、2.2 召回层概述、2.3 粗排层概述、2.4 精排层概述、2.5 重排层概述、2.6 冷启动环节。相关要点已拆为 18 张知识卡,列于下。
原书依据 · 18 处
- 推荐系统架构 2.1 推荐系统架构概述 · 查看原书依据
- 推荐系统架构 2.2 召回层概述 · 查看原书依据
- 推荐系统架构 2.2 召回层概述 · 查看原书依据
- 推荐系统架构 2.2 召回层概述 · 查看原书依据
- 推荐系统架构 2.2 召回层概述 · 查看原书依据
- 推荐系统架构 2.2 召回层概述 · 查看原书依据
- 推荐系统架构 2.3 粗排层概述 · 查看原书依据
- 推荐系统架构 2.3 粗排层概述 · 查看原书依据
- 推荐系统架构 2.3 粗排层概述 · 查看原书依据
- 推荐系统架构 2.4 精排层概述 · 查看原书依据
- 推荐系统架构 2.4 精排层概述 · 查看原书依据
- 推荐系统架构 2.4 精排层概述 · 查看原书依据
- 推荐系统架构 2.5 重排层概述 · 查看原书依据
- 推荐系统架构 2.5 重排层概述 · 查看原书依据
- 推荐系统架构 1.3 4类主流推荐系统构建点拨 · 查看原书依据
- 推荐系统架构 2.6 冷启动环节 · 查看原书依据
- 推荐系统架构 2.6 冷启动环节 · 查看原书依据
- 推荐系统架构 2.6 冷启动环节 · 查看原书依据
3 构建推荐系统的特征
围绕特征工程展开:数据采集与清洗,以及连续特征、离散特征的处理方法。本章依次覆盖:构建推荐系统的特征、3.1 怎么收集数据、3.2 怎么清洗数据、3.3 怎么处理连续特征、3.4 怎么处理离散特征。相关要点已拆为 15 张知识卡,列于下。
原书依据 · 15 处
- 构建推荐系统的特征 构建推荐系统的特征 · 查看原书依据
- 构建推荐系统的特征 3.1 怎么收集数据 · 查看原书依据
- 构建推荐系统的特征 3.1 怎么收集数据 · 查看原书依据
- 构建推荐系统的特征 3.2 怎么清洗数据 · 查看原书依据
- 构建推荐系统的特征 3.2 怎么清洗数据 · 查看原书依据
- 构建推荐系统的特征 3.2 怎么清洗数据 · 查看原书依据
- 构建推荐系统的特征 3.2 怎么清洗数据 · 查看原书依据
- 构建推荐系统的特征 3.3 怎么处理连续特征 · 查看原书依据
- 构建推荐系统的特征 3.3 怎么处理连续特征 · 查看原书依据
- 构建推荐系统的特征 3.3 怎么处理连续特征 · 查看原书依据
- 构建推荐系统的特征 3.3 怎么处理连续特征 · 查看原书依据
- 构建推荐系统的特征 3.3 怎么处理连续特征 · 查看原书依据
- 构建推荐系统的特征 3.4 怎么处理离散特征 · 查看原书依据
- 构建推荐系统的特征 3.4 怎么处理离散特征 · 查看原书依据
- 构建推荐系统的特征 3.4 怎么处理离散特征 · 查看原书依据
4 为推荐系统选择评价指标
讨论不同业务目标下的线上指标,以及召回、精排、重排各自应选用的评价指标与 AB 实验设计。本章依次覆盖:为推荐系统选择评价指标、4.1 不同业务的线上指标、4.2 精排层应该选择什么评价指标、4.3 召回层应该选择什么评价指标、4.4 重排层应该选择什么评价指标、4.5 怎么设计合理的AB实验。相关要点已拆为 16 张知识卡,列于下。
原书依据 · 16 处
- 为推荐系统选择评价指标 为推荐系统选择评价指标 · 查看原书依据
- 为推荐系统选择评价指标 4.1 不同业务的线上指标 · 查看原书依据
- 为推荐系统选择评价指标 4.1 不同业务的线上指标 · 查看原书依据
- 为推荐系统选择评价指标 4.1 不同业务的线上指标 · 查看原书依据
- 为推荐系统选择评价指标 4.1 不同业务的线上指标 · 查看原书依据
- 为推荐系统选择评价指标 4.2 精排层应该选择什么评价指标 · 查看原书依据
- 为推荐系统选择评价指标 4.2 精排层应该选择什么评价指标 · 查看原书依据
- 为推荐系统选择评价指标 4.2 精排层应该选择什么评价指标 · 查看原书依据
- 为推荐系统选择评价指标 4.2 精排层应该选择什么评价指标 · 查看原书依据
- 为推荐系统选择评价指标 4.2 精排层应该选择什么评价指标 · 查看原书依据
- 为推荐系统选择评价指标 4.3 召回层应该选择什么评价指标 · 查看原书依据
- 为推荐系统选择评价指标 4.3 召回层应该选择什么评价指标 · 查看原书依据
- 为推荐系统选择评价指标 4.3 召回层应该选择什么评价指标 · 查看原书依据
- 为推荐系统选择评价指标 4.4 重排层应该选择什么评价指标 · 查看原书依据
- 为推荐系统选择评价指标 4.5 怎么设计合理的AB实验 · 查看原书依据
- 为推荐系统选择评价指标 4.5 怎么设计合理的AB实验 · 查看原书依据
5 机器学习模型调参
针对传统机器学习模型给出调参实践:决策树、随机森林、XGBoost、LightGBM 的调参与全局优化、集成学习。本章依次覆盖:机器学习模型调参、5.1 决策树调参、5.2 随机森林调参、5.3 XGBoost调参、5.4 LightGBM调参、5.5 全局优化调参、5.6 利用集成学习提高推荐效果。相关要点已拆为 11 张知识卡,列于下。
原书依据 · 11 处
- 机器学习模型调参 5.1 决策树调参 · 查看原书依据
- 机器学习模型调参 5.1 决策树调参 · 查看原书依据
- 机器学习模型调参 5.2 随机森林调参 · 查看原书依据
- 机器学习模型调参 5.3 XGBoost调参 · 查看原书依据
- 机器学习模型调参 5.3 XGBoost调参 · 查看原书依据
- 机器学习模型调参 5.4 LightGBM调参 · 查看原书依据
- 机器学习模型调参 5.5 全局优化调参 · 查看原书依据
- 机器学习模型调参 5.5 全局优化调参 · 查看原书依据
- 机器学习模型调参 5.5 全局优化调参 · 查看原书依据
- 机器学习模型调参 5.6 利用集成学习提高推荐效果 · 查看原书依据
- 机器学习模型调参 5.6 利用集成学习提高推荐效果 · 查看原书依据
6 神经网络模型调参
针对神经网络模型给出调参实践:DNN 调参、优化器与损失函数选择、过拟合与欠拟合的处理。本章依次覆盖:神经网络模型调参、6.1 怎么对DNN调参、6.2 怎么为神经网络选择优化器、6.3 怎么为神经网络选择损失函数、6.4 怎么解决神经网络的拟合问题。相关要点已拆为 9 张知识卡,列于下。
原书依据 · 9 处
- 神经网络模型调参 6.1 怎么对DNN调参 · 查看原书依据
- 神经网络模型调参 6.1 怎么对DNN调参 · 查看原书依据
- 神经网络模型调参 6.2 怎么为神经网络选择优化器 · 查看原书依据
- 神经网络模型调参 6.2 怎么为神经网络选择优化器 · 查看原书依据
- 神经网络模型调参 6.3 怎么为神经网络选择损失函数 · 查看原书依据
- 神经网络模型调参 6.3 怎么为神经网络选择损失函数 · 查看原书依据
- 神经网络模型调参 6.3 怎么为神经网络选择损失函数 · 查看原书依据
- 神经网络模型调参 6.4 怎么解决神经网络的拟合问题 · 查看原书依据
- 神经网络模型调参 6.4 怎么解决神经网络的拟合问题 · 查看原书依据
7 个性化召回层样本选择和模型选择
系统梳理个性化召回层的样本与模型选择:协同过滤、双塔、Word2vec、图网络与树模型召回。本章依次覆盖:个性化召回层样本选择和模型选择、7.1 协同过滤召回、7.2 双塔召回、7.3 Word2vec在召回中的应用、7.4 基于图网络的召回、7.5 基于树网络的召回。相关要点已拆为 23 张知识卡,列于下。
原书依据 · 23 处
- 个性化召回层样本选择和模型选择 2.2 召回层概述 · 查看原书依据
- 个性化召回层样本选择和模型选择 7.1 协同过滤召回 · 查看原书依据
- 个性化召回层样本选择和模型选择 7.1 协同过滤召回 · 查看原书依据
- 个性化召回层样本选择和模型选择 7.1 协同过滤召回 · 查看原书依据
- 个性化召回层样本选择和模型选择 7.1 协同过滤召回 · 查看原书依据
- 个性化召回层样本选择和模型选择 7.1 协同过滤召回 · 查看原书依据
- 个性化召回层样本选择和模型选择 7.1 协同过滤召回 · 查看原书依据
- 个性化召回层样本选择和模型选择 7.2 双塔召回 · 查看原书依据
- 个性化召回层样本选择和模型选择 7.2 双塔召回 · 查看原书依据
- 个性化召回层样本选择和模型选择 7.2 双塔召回 · 查看原书依据
- 个性化召回层样本选择和模型选择 7.2 双塔召回 · 查看原书依据
- 个性化召回层样本选择和模型选择 7.2 双塔召回 · 查看原书依据
- 个性化召回层样本选择和模型选择 7.2 双塔召回 · 查看原书依据
- 个性化召回层样本选择和模型选择 7.2 双塔召回 · 查看原书依据
- 个性化召回层样本选择和模型选择 7.3 Word2vec在召回中的应用 · 查看原书依据
- 个性化召回层样本选择和模型选择 7.3 Word2vec在召回中的应用 · 查看原书依据
- 个性化召回层样本选择和模型选择 7.3 Word2vec在召回中的应用 · 查看原书依据
- 个性化召回层样本选择和模型选择 7.3 Word2vec在召回中的应用 · 查看原书依据
- 个性化召回层样本选择和模型选择 7.4 基于图网络的召回 · 查看原书依据
- 个性化召回层样本选择和模型选择 7.4 基于图网络的召回 · 查看原书依据
- 个性化召回层样本选择和模型选择 7.4 基于图网络的召回 · 查看原书依据
- 个性化召回层样本选择和模型选择 7.5 基于树网络的召回 · 查看原书依据
- 个性化召回层样本选择和模型选择 7.5 基于树网络的召回 · 查看原书依据
8 精排层的样本选择和模型选择
系统梳理精排层的样本与模型选择:传统 DNN、交叉模型、偏置问题、可解释性、因果场景、序列建模与多目标。本章依次覆盖:精排层的样本选择和模型选择、8.1 传统DNN建模、8.2 交叉模型、8.3 偏置问题、8.4 模型可解释性、8.5 因果场景、8.6 序列建模、8.7 多目标建模。相关要点已拆为 32 张知识卡,列于下。
- 精排层的样本选择与拟合目标
- YoutubeDNN时长标签
- Wide&Deep宽深混合结构
- FM因子分解机稀疏交叉
- FFM与FmFM域交互
- DeepFM的FM与DNN双路
- DCN与DCNv2交叉网络
- XDeepFM的CIN向量交叉
- 推荐系统中的偏置总览
- 位置偏置消偏与PAL
- 曝光偏置与ESMM全空间建模
- 热门选择服从不平等偏置
- FiBiNET特征重要性
- FiBiNET双线性交互层
- 夏普利值特征归因
- SHAP可加特征归因
- 因果提升模型基本设定
- S/T/X/R-Learner
- 树模型因果方法
- 标签转换法提升增益
- 提升模型评价基尼与AUUC
- 因果嵌入消流行度偏置
- DIN注意力局部激活
- DIEN兴趣进化与AUGRU
- MIMN超长序列记忆UIC
- SIM两阶段长序列检索
- 多目标MMOE专家门控
- ESMM与MMOE结合消偏
- SNR灵活参数共享
- CGC共享与专属专家
- PLE多层专家结构
- 多目标损失跷跷板优化
原书依据 · 32 处
- 精排层的样本选择和模型选择 2.3 粗排层概述 · 查看原书依据
- 精排层的样本选择和模型选择 8.1 传统DNN建模 · 查看原书依据
- 精排层的样本选择和模型选择 8.1 传统DNN建模 · 查看原书依据
- 精排层的样本选择和模型选择 8.2 交叉模型 · 查看原书依据
- 精排层的样本选择和模型选择 8.2 交叉模型 · 查看原书依据
- 精排层的样本选择和模型选择 8.2 交叉模型 · 查看原书依据
- 精排层的样本选择和模型选择 8.2 交叉模型 · 查看原书依据
- 精排层的样本选择和模型选择 8.2 交叉模型 · 查看原书依据
- 精排层的样本选择和模型选择 8.3 偏置问题 · 查看原书依据
- 精排层的样本选择和模型选择 8.3 偏置问题 · 查看原书依据
- 精排层的样本选择和模型选择 8.3 偏置问题 · 查看原书依据
- 精排层的样本选择和模型选择 8.3 偏置问题 · 查看原书依据
- 精排层的样本选择和模型选择 8.4 模型可解释性 · 查看原书依据
- 精排层的样本选择和模型选择 8.4 模型可解释性 · 查看原书依据
- 精排层的样本选择和模型选择 8.4 模型可解释性 · 查看原书依据
- 精排层的样本选择和模型选择 8.4 模型可解释性 · 查看原书依据
- 精排层的样本选择和模型选择 8.5 因果场景 · 查看原书依据
- 精排层的样本选择和模型选择 8.5 因果场景 · 查看原书依据
- 精排层的样本选择和模型选择 8.5 因果场景 · 查看原书依据
- 精排层的样本选择和模型选择 8.5 因果场景 · 查看原书依据
- 精排层的样本选择和模型选择 8.5 因果场景 · 查看原书依据
- 精排层的样本选择和模型选择 8.5 因果场景 · 查看原书依据
- 精排层的样本选择和模型选择 8.6 序列建模 · 查看原书依据
- 精排层的样本选择和模型选择 8.6 序列建模 · 查看原书依据
- 精排层的样本选择和模型选择 8.6 序列建模 · 查看原书依据
- 精排层的样本选择和模型选择 8.6 序列建模 · 查看原书依据
- 精排层的样本选择和模型选择 8.7 多目标建模 · 查看原书依据
- 精排层的样本选择和模型选择 8.7 多目标建模 · 查看原书依据
- 精排层的样本选择和模型选择 8.7 多目标建模 · 查看原书依据
- 精排层的样本选择和模型选择 8.7 多目标建模 · 查看原书依据
- 精排层的样本选择和模型选择 8.7 多目标建模 · 查看原书依据
- 精排层的样本选择和模型选择 8.7 多目标建模 · 查看原书依据
9 粗排层的样本选择和模型选择
讨论粗排层的样本与模型选择,以及蒸馏与工程优化在推荐链路中的落地。本章依次覆盖:粗排层的样本选择和模型选择、9.1 蒸馏、9.2 工程优化。相关要点已拆为 8 张知识卡,列于下。
10 重排层的设计与实现
讨论重排层的设计与实现:精排后数据分析、模型重排与混排。本章依次覆盖:重排层的设计与实现、10.1 精排数据分析、10.2 模型重排、10.3 混排。相关要点已拆为 9 张知识卡,列于下。
11 冷启动环节的设计与实现
讨论冷启动环节的设计与实现:用户冷启动、物料冷启动,以及用 PID 算法做流量稳定控制。本章依次覆盖:冷启动环节的设计与实现、11.1 用户冷启动、11.2 物料冷启动、11.3 PID算法。相关要点已拆为 6 张知识卡,列于下。
发散与实践
实践计划见 ideas/ 目录(轻量模式仅出计划,不执行)。读者延伸内容须明确标注,不冒充作者观点。