此笔记位置已失效,请从目录继续阅读。
全书导读
本书面向需要把机器学习方案变成可运营系统的团队:从业务问题出发,经过数据、验证、建模、上线和维护,持续检验方案是否创造实际价值。作者以零售预测和图文搜索等案例展示不同任务的取舍;示例中的阈值、成本和工具需要按具体环境重新验证。
全书主线
全书由四部分推进。准备阶段先确认问题、调研与设计约束;早期阶段选择指标、采集数据、设计验证并建立基线;中期通过误差分析、训练流水线、特征和结果评估改进方案;集成与成长阶段处理部署、监控、推理性能和团队维护。各环节不是单向瀑布:评估或运行中发现的数据、目标和成本问题都可能要求返回前面的设计决策。
flowchart LR
A[业务问题与约束] --> B[数据与验证]
B --> C[基线与误差分析]
C --> D[训练和特征]
D --> E[评估与集成]
E --> F[监控和维护]
F -->|反馈| A
preface
两位作者分别从数据分析和工程实践进入机器学习。前言提出本书的写作动机:掌握算法与把数据、模型及业务约束组织成可运行系统之间存在差距;后续章节尝试把这些分散的知识串联起来。
about this book
本书面向具备机器学习基础和实际编程经验的读者,讨论怎样把分散的数据、模型与软件组件组织成可靠的系统。全书先认识业务问题并准备方案,再处理指标、数据和基线;随后推进误差分析、训练与特征工作,最后讨论集成、监控、推理和维护。作者将它设计成可按问题查阅的路线,而非算法入门教材。
about the authors
Arseny Kravchenko 的经历侧重机器学习工程与系统优化,Valerii Babushkin 的经历侧重数据科学与团队领导;两人也有机器学习竞赛经验。这些背景解释了书中同时关注技术方案和组织协作的视角。
about the cover illustration
封面插图来自 Louis Curmer 于 1841 年出版的作品,体现出版社选用历史服饰图作为封面的传统。
Part 1 Preparations
第一部分先识别需要解决的问题,包括风险、限制和错误代价,再讨论如何调查可行方案、选择自建或购买,以及用设计文档记录决策。这些主题分别在后续四章展开。
1 Essentials of machine learning system design
机器学习系统设计覆盖系统的设计、实现和维护:除了训练模型,还要明确业务目标、把模型接入软件,并让系统在环境变化后继续工作。它需要机器学习、软件工程和产品协作等能力,详细定义见机器学习系统设计。
系统设计提供解释组件及其关系的蓝图,MLOps 则提供构建和维护所用的工具;这一区别见设计与运维工具的区别。系统投入运行后,改进旨在增加或显著改变功能,维护则是在变化的环境中保持已有功能,详见系统改进与维护。
网约车估价案例展示忽略系统整体的代价:最初设想只需地图特征与模型,但后来暴露出特征基础设施、预测异常、业务规则、分布变化、延迟和接口协作等问题。不同问题并非都能靠更复杂模型解决;更早识别约束有助于判断项目和安排工作。 估价系统遗漏整体风险保留了案例的具体问题。
抽象可以把细节封装到组件中,降低理解负担,但系统如何划分和协作仍需明确决策与责任,见抽象与架构责任。设计文档则帮助团队明确优先级、检查项目必要性,详见设计文档澄清目标。
原书依据 · 6 处
- Essentials of machine learning system design · 查看原书依据
- Essentials of machine learning system design · 查看原书依据
- Essentials of machine learning system design · 查看原书依据
- Essentials of machine learning system design · 查看原书依据
- Essentials of machine learning system design · 查看原书依据
- Essentials of machine learning system design · 查看原书依据
2 Is there a problem?
在决定使用哪种模型之前,先弄清谁遇到了什么问题、为什么发生以及成功意味着什么。销售线索排序的例子说明,只问训练数据、接口和准确率可能遗漏业务流程;问题空间与方案空间进一步解释两种思考范围。
可以从一条高层业务描述开始,逐词追问依据和例外,分别访谈了解目标的负责人及处理日常工作的人员,把结果写下来与团队确认,见自顶向下澄清问题。明确需求之后,才把业务问题转换为预测或排序任务,见把业务问题转成预测;领域专家的表现可作为早期参照,但不一定是机器性能的上限,见人类专家作为基准。
收据商品识别案例先利用已人工标注的名称,再缩小候选范围,减少重复工作;数据规模扩大后再考虑更复杂的语义模型。这个例子说明需求与规模会影响方案选择,详见复用标注缩小候选。
风险需要描述具体受影响者与失败场景,而非只列“预测错误”,见风险模型描述失败场景。动态定价案例中,价格差异的法律风险和后端更新频率约束改变了设计;这些是该案例的具体条件,不能直接推断其他地区的法律,详见定价约束改变方案。面对错误,有的场景更重视避免错误输出,有的场景更重视继续提供服务,《Code Complete》对该对比的说明见Code Complete错误处理;另见错误处理的场景取舍;信贷中的不同误判也可能产生不同损失,见分类错误的不同代价。最后,错误成本还包括口碑、后续训练数据等连锁影响,见错误成本与二阶后果。
原书依据 · 11 处
- Is there a problem? · 查看原书依据
- Is there a problem? · 查看原书依据
- Is there a problem? · 查看原书依据
- Is there a problem? · 查看原书依据
- Is there a problem? · 查看原书依据
- Is there a problem? · 查看原书依据
- Is there a problem? · 查看原书依据
- Is there a problem? · 查看原书依据
- Is there a problem? · 查看原书依据
- Is there a problem? · 查看原书依据
- Is there a problem? · 查看原书依据
3 Preliminary research
理解问题之后,需要探索可行解。寻找参考时既比较业务目标,也比较延迟、平台和数据规模等技术条件,详见寻找相似系统的两面。采购服务、自建和使用开源组件各有交付、控制与维护成本,开源软件也可配合商业支持,见开源与商业支持;自建和采购的整体权衡见自建或购买的权衡。
复杂问题可以拆成职责明确的步骤。搜索系统常先快速筛选候选,再用较复杂的模型排序,见先召回再精排;除了节省计算,拆分也可用于融合数据和处理特殊情况,例如检测和计数可以分工(检测与计数分工),检索增强生成可以先引入外部材料(检索增强生成)。工具使用研究如 Toolformer 探索让模型调用外部 API。端到端模型与流水线各有取舍(端到端模型与流水线),但不断叠加补丁会增加维护难度,见拆分机器学习系统。
创新程度取决于目标、预算和竞争,原型在验证价值后可能需要演进,见创新程度随目标变化。调研时可从综述和论文引用入手,见论文调研从综述出发。书中还介绍了可用于检索论文、模型、代码和竞赛案例的平台:arXiv论文平台、Papers with Code、GitHub代码检索、Hugging Face模型库、Kaggle竞赛与数据集。这些平台的内容及可用性可能变化,调研时仍应核对实际条件。图片搜索案例把业务条件用于候选过滤,再将文本查询和图片表示用于相关性排序,展示了如何把这些判断落到一个具体系统。
原书依据 · 16 处
- Preliminary research · 查看原书依据
- Preliminary research · 查看原书依据
- Preliminary research · 查看原书依据
- Preliminary research · 查看原书依据
- Preliminary research · 查看原书依据
- Preliminary research · 查看原书依据
- Preliminary research · 查看原书依据
- Preliminary research · 查看原书依据
- Preliminary research · 查看原书依据
- Preliminary research · 查看原书依据
- Preliminary research · 查看原书依据
- Preliminary research · 查看原书依据
- Preliminary research · 查看原书依据
- Preliminary research · 查看原书依据
- Preliminary research · 查看原书依据
- Preliminary research · 查看原书依据
4 Design document
设计文档帮助团队对齐问题、目标、约束和方案,内容应与项目规模相称,而不受固定模板支配,见设计文档与项目规模。反目标则指出当前不需要优化的方面,让团队不把有限资源分散到所有可能特性上,见反目标划定设计范围。
目标必须反映真实业务意图。定价案例中模型达成指标却集中低价销售一个商品,暴露了约束遗漏;另一个催收案例显示预测谁与解释原因是不同目标(预测对象与原因的差异),见指标达标不等于目标。零售预测案例还说明,商品卖光后观察到的销量可能低于实际需求,见缺货遮蔽真实需求。新方案还应先分析现有预测流程和适用范围(先分析现有预测流程)。
设计评审应邀请不同背景的人提出可解释的具体问题与替代方案,见设计评审聚焦依据。文档会随反馈、上线和环境变化持续更新,见设计文档持续演进;复杂系统也可以比较两种设计以发现不同的限制,见为复杂设计准备备选。
Part 2 Early stage
第二部分从实际系统的早期设计展开:先选择损失函数和评估指标,再收集数据并确定验证方式,最后构建可比较、可运行的基线。
5 Loss functions and metrics
损失函数引导训练,评估指标判断模型和业务表现,两者未必相同,见训练损失与评估指标。相同数据下,均方误差与绝对误差可能分别偏向均值和中位数,选择要看错误成本,见均方误差与绝对误差。对于类别不平衡,可研究降低简单样本权重的焦点损失(焦点损失减少简单样本权重);复杂任务也可能组合多个损失(多损失训练多目标)。书中将连续可微说成所有损失的普遍要求,但这取决于优化方法,不应视为无例外规则。
催收案例显示,延迟数据与交互限制可能让线上标签和指标失真,见标签延迟扭曲评估。类别比例变化也会影响精确率,即使条件错误率保持不变,见精确率受类别比例影响;在高流量反欺诈场景,可以先限制误报率,再比较召回率,见固定特异度优化召回。一致性关注合理输入扰动或重训后结果的稳定性,但要与任务效果共同评价,见预测一致性指标。
离线指标提供上线前的快速反馈,在线指标检查实际业务结果,见离线指标与在线结果;指标层级帮助找到代理,但代理与目标之间的关系需要实证验证,见指标层级与代理指标。书中根据点击和购买发生率推算实验提速倍数,具体倍数依赖效应定义及方差,不能直接当作普遍结论。
自定义指标还应检查极端预测是否能不合理地得高分,见随机模型检验指标;样本稀少时,也可以明确与业务容忍度对应的错误等级,见稀有事件指标设计。零售预测中,零销量会让某些百分比误差失效(百分比误差遇到零值),分位数预测可支持不同库存决策(分位数预测与库存、加权分位数损失),Tweedie 分布族则是一个可实验的候选(Tweedie分布族)。
图片搜索还需定义结果的多样性。图片搜索案例使用倒数排名均值(倒数排名均值)和归一化折损累计增益(归一化折损累计增益)评估排序。人工相关性标注不等同于购买行为,见相关性不等于购买。
比较绝对误差时还可使用不同缩放基准,见绝对误差的两种缩放。评估间歇需求时还要考虑基准误差为零、预测期的隐含权重及误差缩放,分别见相对误差的零分母、间歇需求的时间加权、缩放均方误差。
本章还介绍了相关论文:焦点损失论文、手机扫描体积化身、AlphaFold蛋白结构预测、GrokNet多任务训练、零售计数预测分布。这些例子说明损失函数和预测方法应结合实际任务选择。
原书依据 · 29 处
- Loss functions and metrics · 查看原书依据
- Loss functions and metrics · 查看原书依据
- Loss functions and metrics · 查看原书依据
- Loss functions and metrics · 查看原书依据
- Loss functions and metrics · 查看原书依据
- Loss functions and metrics · 查看原书依据
- Loss functions and metrics · 查看原书依据
- Loss functions and metrics · 查看原书依据
- Loss functions and metrics · 查看原书依据
- Loss functions and metrics · 查看原书依据
- Loss functions and metrics · 查看原书依据
- Loss functions and metrics · 查看原书依据
- Loss functions and metrics · 查看原书依据
- Loss functions and metrics · 查看原书依据
- Loss functions and metrics · 查看原书依据
- Loss functions and metrics · 查看原书依据
- Loss functions and metrics · 查看原书依据
- Loss functions and metrics · 查看原书依据
- Loss functions and metrics · 查看原书依据
- Loss functions and metrics · 查看原书依据
- Loss functions and metrics · 查看原书依据
- Loss functions and metrics · 查看原书依据
- Loss functions and metrics · 查看原书依据
- Loss functions and metrics · 查看原书依据
- Loss functions and metrics · 查看原书依据
- Loss functions and metrics · 查看原书依据
- Loss functions and metrics · 查看原书依据
- Loss functions and metrics · 查看原书依据
- Loss functions and metrics · 查看原书依据
6 Gathering datasets
数据可能来自业务过程、外部来源、人工标注或合成。不同类型的信息可结合为多模态数据集;模型输入还可以由特征工程或其他模型生成(特征与表征)。准备数据通常需要数据提取转换加载,但过滤要避免改变真实分布(过滤数据的两面)。
标注选择决定模型能学到什么:分类、检测与分割需要不同粒度和成本(标注粒度限制能力),标签不足时可研究弱监督标签。标注者之间的差异可以用标注者一致性衡量。众包需要质量控制(众包标注质量控制),对于主观评价也可采用成对比较降低评分差异。多人投票是否可靠取决于错误独立性(多数投票的独立假设),可以对分歧样本增加标注(按分歧追加标注)。
数据元数据与溯源记录来源、时间和处理版本,使错误样本可追溯;推荐系统还需关注模型改变曝光后形成的数据反馈回路。分层采样保障群体覆盖帮助保证不同群体有足够数据,主动学习选择样本则帮助挑选值得标注的样本。更多数据并不自动代表更好效果,见训练数据量与质量。
数据不足既可能源于知识缺口,也可能存在输入无法消除的随机性,见偶然与认知不确定性。可通过数据规模学习曲线估计扩充数据的收益,但外推只是粗略判断。没有目标数据时可以用数据冷启动,例如 MobilePose合成样本 通过光照和背景提高合成数据真实性,并警惕合成数据的分布差异。
健康数据管道需要数据管道可复现、数据管道一致性和数据可用性与依赖。标注规则存在模糊边界时,明确冲突处理有助于一致性(模糊标签的判定规则)。零售案例把销售、库存、促销及外部信息关联;图片搜索案例区分描述、点击与人工相关性标签,分别考虑质量和用途。
原书依据 · 25 处
- Gathering datasets · 查看原书依据
- Gathering datasets · 查看原书依据
- Gathering datasets · 查看原书依据
- Gathering datasets · 查看原书依据
- Gathering datasets · 查看原书依据
- Gathering datasets · 查看原书依据
- Gathering datasets · 查看原书依据
- Gathering datasets · 查看原书依据
- Gathering datasets · 查看原书依据
- Gathering datasets · 查看原书依据
- Gathering datasets · 查看原书依据
- Gathering datasets · 查看原书依据
- Gathering datasets · 查看原书依据
- Gathering datasets · 查看原书依据
- Gathering datasets · 查看原书依据
- Gathering datasets · 查看原书依据
- Gathering datasets · 查看原书依据
- Gathering datasets · 查看原书依据
- Gathering datasets · 查看原书依据
- Gathering datasets · 查看原书依据
- Gathering datasets · 查看原书依据
- Gathering datasets · 查看原书依据
- Gathering datasets · 查看原书依据
- Gathering datasets · 查看原书依据
- Gathering datasets · 查看原书依据
7 Validation schemas
验证的目标是模拟模型实际面对的新数据和可用信息(验证模拟实际使用)。训练、验证和测试承担不同职责(训练验证测试分工);K 折方法轮流使用不同数据评估(K折交叉验证),有分组或类别约束时需要相应划分(分层与分组交叉验证),折数取舍见交叉验证折数权衡。
时间数据通常要用过去预测未来(时间序列滚动验证),并依据数据延迟设置间隔(时间验证间隔)。固定一段时间的验证集可减少模型比较时的噪声(固定窗口减少比较噪声)。内层调参和外层评估可通过嵌套验证分离调参与评估分离;对抗验证检查分布差异则用辅助分类器检查数据来源是否容易区分。
验证集需要兼顾新鲜度和可比较性(验证集更新策略)。自助法估计指标不确定性和泊松权重自助法可帮助估计指标的不确定性,扰动评估阈值稳健性可检查阈值附近的敏感性,但它们的结论都依赖样本、噪声和重采样假设。书中分组时间验证代码与部分日期示例存在不一致,不能直接作为运行模板。
检索语料和验证文本的近重复可能造成泄漏(近重复文本与泄漏),相关研究见检索增强语言模型论文。按用户分桶可减少同一用户跨区(哈希稳定划分用户),但随机分桶本身不能保证测试集代表未来。置信区间的覆盖含义和条件见置信区间的重复覆盖。
本章还介绍了交叉验证与自助法研究、时间序列评估研究、对抗验证与目标漂移等研究,分别辅助理解交叉验证、时间序列和数据分布差异。
原书依据 · 21 处
- Validation schemas · 查看原书依据
- Validation schemas · 查看原书依据
- Validation schemas · 查看原书依据
- Validation schemas · 查看原书依据
- Validation schemas · 查看原书依据
- Validation schemas · 查看原书依据
- Validation schemas · 查看原书依据
- Validation schemas · 查看原书依据
- Validation schemas · 查看原书依据
- Validation schemas · 查看原书依据
- Validation schemas · 查看原书依据
- Validation schemas · 查看原书依据
- Validation schemas · 查看原书依据
- Validation schemas · 查看原书依据
- Validation schemas · 查看原书依据
- Validation schemas · 查看原书依据
- Validation schemas · 查看原书依据
- Validation schemas · 查看原书依据
- Validation schemas · 查看原书依据
- Validation schemas · 查看原书依据
- Validation schemas · 查看原书依据
8 Baseline solution
基线是一个简单但可运行的方案,用来接通系统、比较后续效果和必要时回退,见基线的三个用途。从常数基线和规则基线开始,可以按需逐步增加复杂度(基线逐步增加复杂度);特征也可先用易获得的小集合(特征基线)。
需要深度学习时,可先复用预训练模型(预训练模型作为基线),再选择适当的预训练模型微调范围。比较方案时还需考虑成本、延迟、解释性与维护(比较基线的多项成本);高风险场景要谨慎选择回退(基线不适合的边界)。推荐研究简单推荐方法的对照研究说明复杂方法也应接受简单基线的对照。
零售例子以时间序列季节性基线作为预测起点;图片搜索则比较不同数据输入和模型复杂度(图文搜索的基线比较)。作者对某些模型的成本收益是经验判断,实际效果需要实验。
其他基线思路包括零样本与少样本基线、迁移表征训练小模型、ARIMA与季节性预测等不同起点。
本章介绍的工具和研究包括CLIP图文表征、Prophet预测工具、简单方案的复杂度偏见、表格数据与树模型、图问题的贪心基线、多任务的简单平均、向量点积推荐基线;这些案例提供对照思路,不能替代对当前数据的验证。
原书依据 · 22 处
- Baseline solution · 查看原书依据
- Baseline solution · 查看原书依据
- Baseline solution · 查看原书依据
- Baseline solution · 查看原书依据
- Baseline solution · 查看原书依据
- Baseline solution · 查看原书依据
- Baseline solution · 查看原书依据
- Baseline solution · 查看原书依据
- Baseline solution · 查看原书依据
- Baseline solution · 查看原书依据
- Baseline solution · 查看原书依据
- Baseline solution · 查看原书依据
- Baseline solution · 查看原书依据
- Baseline solution · 查看原书依据
- Baseline solution · 查看原书依据
- Baseline solution · 查看原书依据
- Baseline solution · 查看原书依据
- Baseline solution · 查看原书依据
- Baseline solution · 查看原书依据
- Baseline solution · 查看原书依据
- Baseline solution · 查看原书依据
- Baseline solution · 查看原书依据
Part 3 Intermediate steps
第三部分围绕模型改进展开:分析误差与学习曲线、构建训练流水线、设计特征,并衡量和报告实验结果。
9 Error analysis
错误分析帮助判断系统下一步该改什么。三类学习曲线从迭代次数、模型容量和数据量观察训练过程;过拟合与欠拟合提供诊断线索,但数据泄漏或分布差异也可能导致训练与验证差距。损失振荡(损失振荡的排查)、数值爆炸(损失爆炸与非数值)和损失与指标不一致(损失与指标不一致)需要分别排查;收敛曲线的数值也应做范围检查。模型复杂度曲线和数据规模曲线帮助比较容量和数据收益;双重下降现象提醒我们这些曲线不一定遵循单一形状。
残差分析从个体预测差异中找问题。回归诊断图检查模型假设,引导注意力对齐利用文本与语音的大致顺序设计辅助损失,残差分布与问题线索则从误差形态提出可能的改进方向。原文将严格外生性简化为残差均值为零,这并不足以定义外生性;杠杆值也不等同于删除样本后的系数变化。
总体改善可能隐藏群体退步(群体误差分布),残差基尼系数提供误差集中程度的视角;误差方向及成本也重要(过预测与欠预测)。价格响应曲线可用于检查模型的价格响应,但不是因果证明。
可以按误差或属性分组,检查极端样本与角落案例,或用分类器找错误共性;预测分位数时还要检查分位数残差校准。零售和图片搜索案例分别说明怎样把这些检查纳入训练报告和上线决策。
相关研究包括Deep Double Descent研究、引导注意力语音合成研究。
原书依据 · 23 处
- Error analysis · 查看原书依据
- Error analysis · 查看原书依据
- Error analysis · 查看原书依据
- Error analysis · 查看原书依据
- Error analysis · 查看原书依据
- Error analysis · 查看原书依据
- Error analysis · 查看原书依据
- Error analysis · 查看原书依据
- Error analysis · 查看原书依据
- Error analysis · 查看原书依据
- Error analysis · 查看原书依据
- Error analysis · 查看原书依据
- Error analysis · 查看原书依据
- Error analysis · 查看原书依据
- Error analysis · 查看原书依据
- Error analysis · 查看原书依据
- Error analysis · 查看原书依据
- Error analysis · 查看原书依据
- Error analysis · 查看原书依据
- Error analysis · 查看原书依据
- Error analysis · 查看原书依据
- Error analysis · 查看原书依据
- Error analysis · 查看原书依据
10 Training pipelines
训练模型需要可重复的流程,而不只是一次手工操作(训练流水线可复现)。训练与推理流水线说明训练与推理的不同目标;常见训练过程包括训练流水线步骤,其中评估与测试模型分别检查指标与行为。产物和配置需打包(训练产物打包),实验也需要记录(实验与产物追踪)。
平台可分别提供依赖调度、资源、存储和缓存(训练平台的职责)。数据规模变大时可考虑垂直与水平扩展及数据子采样降成本,并避免配置不足或过度配置(配置不足与过度配置)。
测试可以组合快速流水线烟雾测试、关键组件测试和模型转换一致性测试。模型性质测试依据明确的业务不变量生成检查;例如单调性或变换不变性并不适用于所有模型。常见性质包括模型单调性测试、模型变换不变性、模型微扰稳健性、模型输出一致性,每项都必须先确定其适用条件。对任务语义确实发生反转的输入,还可检查反向变化性质。零售与图片搜索案例分别说明如何记录数据处理、实验和部署产物。
原书依据 · 18 处
- Training pipelines · 查看原书依据
- Training pipelines · 查看原书依据
- Training pipelines · 查看原书依据
- Training pipelines · 查看原书依据
- Training pipelines · 查看原书依据
- Training pipelines · 查看原书依据
- Training pipelines · 查看原书依据
- Training pipelines · 查看原书依据
- Training pipelines · 查看原书依据
- Training pipelines · 查看原书依据
- Training pipelines · 查看原书依据
- Training pipelines · 查看原书依据
- Training pipelines · 查看原书依据
- Training pipelines · 查看原书依据
- Training pipelines · 查看原书依据
- Training pipelines · 查看原书依据
- Training pipelines · 查看原书依据
- Training pipelines · 查看原书依据
11 Features and feature engineering
特征工程的迭代不断构造和检验模型输入,同时考虑效果、延迟、可用性和维护(特征选择的工程权衡)。类别具有固有顺序时可考虑有序类别编码。常见方法包括时间序列滞后与聚合、连续特征分桶和特征交叉;文本统计表示会损失部分词序(文本词袋与词序)。目标编码(目标编码泄漏)和模型输出作为特征尤其需要防止使用上线时不存在的信息。
可解释性与可说明性帮助明确对模型行为的理解目标。解释方法可区分模型专用与通用解释以及局部与全局解释;置换特征重要性、SHAP特征贡献和LIME局部近似各提供不同视角。图像可通过显著性图或遮挡解释调查敏感区域,但注意力权重的边界提醒我们这些可视化不自动构成因果解释。
选择特征同样要防止泄漏(特征选择与数据泄漏)。过滤式特征选择、包裹式特征选择、嵌入式特征选择在成本和模型依赖上不同,影子特征基线可提供随机对照。
多团队可用特征库统一管理输入;特征预计算与聚合减少重复计算,特征版本与血缘让变化可追踪,特征目录帮助发现和理解已有特征,离线与实时特征则需考虑时效和读取延迟。零售与图片搜索案例展示如何根据不同数据和上线要求选择特征。
本章进一步讨论特征生成与选择、特征组共享计算、顺序特征选择、锚点解释、特征选择的信号损失,帮助权衡特征维护成本和解释范围。
相关论文示例包括DeepETA到达时间预测、LIME局部解释论文、Anchors局部规则论文、视觉显著性检测研究、随机遮挡解释研究。
原书依据 · 38 处
- Features and feature engineering · 查看原书依据
- Features and feature engineering · 查看原书依据
- Features and feature engineering · 查看原书依据
- Features and feature engineering · 查看原书依据
- Features and feature engineering · 查看原书依据
- Features and feature engineering · 查看原书依据
- Features and feature engineering · 查看原书依据
- Features and feature engineering · 查看原书依据
- Features and feature engineering · 查看原书依据
- Features and feature engineering · 查看原书依据
- Features and feature engineering · 查看原书依据
- Features and feature engineering · 查看原书依据
- Features and feature engineering · 查看原书依据
- Features and feature engineering · 查看原书依据
- Features and feature engineering · 查看原书依据
- Features and feature engineering · 查看原书依据
- Features and feature engineering · 查看原书依据
- Features and feature engineering · 查看原书依据
- Features and feature engineering · 查看原书依据
- Features and feature engineering · 查看原书依据
- Features and feature engineering · 查看原书依据
- Features and feature engineering · 查看原书依据
- Features and feature engineering · 查看原书依据
- Features and feature engineering · 查看原书依据
- Features and feature engineering · 查看原书依据
- Features and feature engineering · 查看原书依据
- Features and feature engineering · 查看原书依据
- Features and feature engineering · 查看原书依据
- Features and feature engineering · 查看原书依据
- Features and feature engineering · 查看原书依据
- Features and feature engineering · 查看原书依据
- Features and feature engineering · 查看原书依据
- Features and feature engineering · 查看原书依据
- Features and feature engineering · 查看原书依据
- Features and feature engineering · 查看原书依据
- Features and feature engineering · 查看原书依据
- Features and feature engineering · 查看原书依据
- Features and feature engineering · 查看原书依据
12 Measuring and reporting results
离线评估可快速比较模型,但与业务结果的联系需要验证(离线效果与业务指标);相同预测误差也可能产生不同业务损失(预测误差与业务损失)。推荐历史存在反事实反馈缺失,历史回放评估策略利用匹配到的历史反馈评估新策略,但有效性依赖日志条件。人工比较评估可用于搜索和生成结果的人工比较。
随机对照实验通过分组比较新旧方案。实验需明确实验假设与方案,确定最小可检测效应、第一类与第二类错误和实验分组单位;共享供需等场景可考虑Switchback交替实验。实验指标分工区分主要、控制和辅助指标,p值的含义与Welch均值检验解释统计检验的适用条件,A A与A B模拟可事先检查设计在模拟数据下的表现。
重复查看实验结果和实验停止规则说明监控时应遵循预先设计的分析和安全规则。最终应报告效应与不确定性,并形成实验复盘记录。书中图片搜索案例的流量比例、转化分母和收入增量存在不一致,实验估算应重新按分组单位及实际数据计算。
本章介绍或推荐的研究包括新闻推荐离线回放研究、Switchback实验设计研究、在线受控实验指南。
原书依据 · 22 处
- Measuring and reporting results · 查看原书依据
- Measuring and reporting results · 查看原书依据
- Measuring and reporting results · 查看原书依据
- Measuring and reporting results · 查看原书依据
- Measuring and reporting results · 查看原书依据
- Measuring and reporting results · 查看原书依据
- Measuring and reporting results · 查看原书依据
- Measuring and reporting results · 查看原书依据
- Measuring and reporting results · 查看原书依据
- Measuring and reporting results · 查看原书依据
- Measuring and reporting results · 查看原书依据
- Measuring and reporting results · 查看原书依据
- Measuring and reporting results · 查看原书依据
- Measuring and reporting results · 查看原书依据
- Measuring and reporting results · 查看原书依据
- Measuring and reporting results · 查看原书依据
- Measuring and reporting results · 查看原书依据
- Measuring and reporting results · 查看原书依据
- Measuring and reporting results · 查看原书依据
- Measuring and reporting results · 查看原书依据
- Measuring and reporting results · 查看原书依据
- Measuring and reporting results · 查看原书依据
Part 4 Integration and growth
最后一部分讨论系统怎样接入业务并持续运行:包括发布和回退、监控、推理性能,以及团队责任和长期维护。
13 Integration
集成贯穿系统生命周期需要从设计到退役持续考虑依赖和使用方。接口要兼顾API简单与可配置,并显式处理显式控制随机性与时间(例见JAX显式随机状态)和模型与流水线版本;外部模型版本漂移展示外部模型版本变化可能带来的隐蔽故障。内外层接口分离、推理与数据访问分离、接口客户端封装和特性开关控制回退分别帮助维护契约、扩展服务和控制发布。
模型更新可能同时带来收益和局部退步(模型发布的增益与退步)。组件可采用不同发布周期(模型和服务独立发布),并根据目标选择蓝绿与金丝雀发布或实验(金丝雀与A B实验)。影子模式验证可以比较新模型输出,但仍需控制资源及数据风险。运行还需要运行时的运维连接。
回退方案与触发应提前确定触发和恢复条件;人工覆盖及技术债可处理紧急例外,但必须跟踪。规则也可提供规则作为弱监督来源,而知识库提示替代重训是减少重训等待的另一种办法。案例中的私有网络不应自动等同无需身份认证,实际访问控制应依据系统要求设计。
本章相关参考包括数据编程与弱监督、多任务弱监督研究、Snorkel弱监督工具、凤凰项目与DevOps。
原书依据 · 24 处
- Integration · 查看原书依据
- Integration · 查看原书依据
- Integration · 查看原书依据
- Integration · 查看原书依据
- Integration · 查看原书依据
- Integration · 查看原书依据
- Integration · 查看原书依据
- Integration · 查看原书依据
- Integration · 查看原书依据
- Integration · 查看原书依据
- Integration · 查看原书依据
- Integration · 查看原书依据
- Integration · 查看原书依据
- Integration · 查看原书依据
- Integration · 查看原书依据
- Integration · 查看原书依据
- Integration · 查看原书依据
- Integration · 查看原书依据
- Integration · 查看原书依据
- Integration · 查看原书依据
- Integration · 查看原书依据
- Integration · 查看原书依据
- Integration · 查看原书依据
- Integration · 查看原书依据
14 Monitoring and reliability
机器学习监控的层次连接服务、数据、模型和业务:服务健康指标关注可用性和资源,预测日志与溯源帮助追溯预测,同时要控制数据访问与保留。
数据处理报告成功并不代表输入完整(处理成功不等于数据完整);还需检查数据源损坏监控、级联模型端到端检查和数据模式变化。训练与服务数据偏差提醒训练数据未必代表上线环境。数据质量检查、非结构化数据质量代理与逐阶段验证数据可逐层发现故障,但告警阈值与疲劳需要控制误报。
模型退化是效果下降,输入数据漂移、概念漂移与预测输出漂移分别描述不同变化,且变化未必自动意味着效果下降。渐进突发与周期漂移帮助判断时间模式;标签延迟时监控代理用于标签延迟时预警,群体模型效果监控检查总体均值掩盖的群体问题。
检测变化后先漂移后先查数据质量,再根据原因选择漂移响应方案,并区分异常点与分布漂移。最终业务指标监控连接系统目标,但业务波动需要进一步归因。零售和图片搜索示例分别根据数据延迟、影响及可用工具配置监控。
本章还介绍服务水平指标、数据质量维度、监控系统金字塔、机器学习数据校验研究、Evidently监控工具,为服务指标、数据校验及监控工具选型提供参考。
原书依据 · 28 处
- Monitoring and reliability · 查看原书依据
- Monitoring and reliability · 查看原书依据
- Monitoring and reliability · 查看原书依据
- Monitoring and reliability · 查看原书依据
- Monitoring and reliability · 查看原书依据
- Monitoring and reliability · 查看原书依据
- Monitoring and reliability · 查看原书依据
- Monitoring and reliability · 查看原书依据
- Monitoring and reliability · 查看原书依据
- Monitoring and reliability · 查看原书依据
- Monitoring and reliability · 查看原书依据
- Monitoring and reliability · 查看原书依据
- Monitoring and reliability · 查看原书依据
- Monitoring and reliability · 查看原书依据
- Monitoring and reliability · 查看原书依据
- Monitoring and reliability · 查看原书依据
- Monitoring and reliability · 查看原书依据
- Monitoring and reliability · 查看原书依据
- Monitoring and reliability · 查看原书依据
- Monitoring and reliability · 查看原书依据
- Monitoring and reliability · 查看原书依据
- Monitoring and reliability · 查看原书依据
- Monitoring and reliability · 查看原书依据
- Monitoring and reliability · 查看原书依据
- Monitoring and reliability · 查看原书依据
- Monitoring and reliability · 查看原书依据
- Monitoring and reliability · 查看原书依据
- Monitoring and reliability · 查看原书依据
15 Serving and inference optimization
推理流水线包括模型前后的数据处理。设计要同时考虑延迟与吞吐、推理平台约束和推理成本与峰值;结构并行与推理速度说明参数量不足以预测实际速度。研究与生产推理差异提醒研究和生产流程需要一致性验证。
动态批处理和按长度分批以不同方式改善批处理效率,但等待会消耗延迟预算。推理结果缓存可减少重复计算,模糊缓存误命中需防止错误复用。按难度路由模型及先快后准的响应分别针对成本与首次响应时间。
推理引擎与框架区分运行组件和完整服务能力,ONNX模型格式与运行时提供跨框架表示;同框架或转换框架都应根据需求决定。无服务器推理在负载波动时有吸引力,但需考虑冷启动与推理延迟。
优化先进行先性能分析再优化,特别要注意GPU性能分析的边界;随后可按分层优化推理选择措施,同时先满足部署约束。零售案例重视批量吞吐,图片搜索案例分别处理离线索引更新和在线低延迟查询。
书中还介绍或推荐Triton推理服务、OpenVINO与TensorRT、TVM模型编译、CoreML设备推理、PowerInfer推理研究、模型路由研究等工具与研究;具体能力会随版本变化。
原书依据 · 26 处
- Serving and inference optimization · 查看原书依据
- Serving and inference optimization · 查看原书依据
- Serving and inference optimization · 查看原书依据
- Serving and inference optimization · 查看原书依据
- Serving and inference optimization · 查看原书依据
- Serving and inference optimization · 查看原书依据
- Serving and inference optimization · 查看原书依据
- Serving and inference optimization · 查看原书依据
- Serving and inference optimization · 查看原书依据
- Serving and inference optimization · 查看原书依据
- Serving and inference optimization · 查看原书依据
- Serving and inference optimization · 查看原书依据
- Serving and inference optimization · 查看原书依据
- Serving and inference optimization · 查看原书依据
- Serving and inference optimization · 查看原书依据
- Serving and inference optimization · 查看原书依据
- Serving and inference optimization · 查看原书依据
- Serving and inference optimization · 查看原书依据
- Serving and inference optimization · 查看原书依据
- Serving and inference optimization · 查看原书依据
- Serving and inference optimization · 查看原书依据
- Serving and inference optimization · 查看原书依据
- Serving and inference optimization · 查看原书依据
- Serving and inference optimization · 查看原书依据
- Serving and inference optimization · 查看原书依据
- Serving and inference optimization · 查看原书依据
16 Ownership and maintenance
系统责任从设计开始需要及早安排人员和工具。明确责任与升级路径、RACI责任矩阵明确谁执行、谁决策以及如何沟通;值班轮换与工具和值班分层与升级让故障有人响应并能升级,按影响比例复盘使后续改进与影响相称。
巴士因子帮助识别对个人的过度依赖,效率与冗余的平衡与分散关键知识则讨论如何保留必要余量和共享知识。维护型文档体系支持交接和持续运行。
控制系统复杂度要求在需求与维护成本之间取舍;复杂故障的组合原因提醒事故可能来自多个选择和环境变化的组合。书中使用熵与分布式系统的类比帮助讨论组织和软件,但这些类比不能当作组织行为的定律。
事故多因素分析的延伸阅读见复杂系统事故的多因性。书中引用CAP与网络分区、YAGNI避免提前扩展、KISS保持适度简单、DRY与抽象成本讨论可用性与简单性;CAP 用于类比团队结构时不能直接当作组织定律。
原书依据 · 17 处
- Ownership and maintenance · 查看原书依据
- Ownership and maintenance · 查看原书依据
- Ownership and maintenance · 查看原书依据
- Ownership and maintenance · 查看原书依据
- Ownership and maintenance · 查看原书依据
- Ownership and maintenance · 查看原书依据
- Ownership and maintenance · 查看原书依据
- Ownership and maintenance · 查看原书依据
- Ownership and maintenance · 查看原书依据
- Ownership and maintenance · 查看原书依据
- Ownership and maintenance · 查看原书依据
- Ownership and maintenance · 查看原书依据
- Ownership and maintenance · 查看原书依据
- Ownership and maintenance · 查看原书依据
- Ownership and maintenance · 查看原书依据
- Ownership and maintenance · 查看原书依据
- Ownership and maintenance · 查看原书依据
跨章综合
指标把业务目标翻译成可观察的量,但线下指标并不自动代表真实业务收益:数据采集和验证划分决定评估能否反映实际使用;基线则给复杂方案提供成本和效果的比较对象。误差分析帮助识别数据、模型或任务定义中的问题,训练管道与特征管理使改进更可复现。部署后的监控把数据质量、模型表现、服务健康和业务结果联系起来,反馈给模型和团队,而责任分配决定故障是否有人处理。延迟、费用、公平性和安全约束贯穿各阶段,不能只优化某一项分数。
发散与实践
以下两项是读者针对现有书籍笔记库提出的计划,并非作者提供的实际项目或已经完成的实验:先为笔记检索设定目标、边界与验收指标,再设计数据重复与验证划分检查。实践卡提供具体交付物和复盘方式;尚未执行。