此笔记位置已失效,请从目录继续阅读。
全书导读
本书副标题为“Applying SRE Principles to ML in Production”,作者开宗明义:它不是讲 ML 算法如何工作,而是讲“如何让 ML 为你工作”。全书以站点可靠性工程(SRE)的视角,覆盖算法之外的整个 ML 生命周期——数据采集与治理、可靠建模、平滑可逆的上线、安全更新,以及成本、性能、业务目标与组织结构等议题。贯穿全书的示例是一个虚构网店 yarnit.ai,用来展示某一阶段(如数据获取、归一化)的选择如何影响整条技术栈与业务。
全书主线
围绕“ML loop(生命周期循环)”展开:数据 → 训练 → 构建验证应用 → 质量评估 → SLO → 发布 → 监控反馈 → 回到数据。前半部分打基础(数据管理、模型是什么、特征与训练数据、模型有效性评估、公平隐私伦理);中段讲模型生命周期的具体工程(训练系统、服务、监控、持续 ML);后段落到组织(事故响应、产品与 ML 协作、组织落地、案例研究)。核心论点是:ML 系统首先是系统,具备普通分布式系统的全部失败模式,外加数据/世界变化带来的微妙退化,因此必须以整体、可持续、以客户体验为中心的 SRE 框架来对待。
序:从模型交付走向可运营的系统
序文描述机器学习从研究工作转向工程学科:组织需要的不只是一个能产生预测的模型,还包括高效交付、故障防护、恢复和持续学习的能力。早期MLOps借鉴DevOps改善开发与部署,但“能上线”仍不能回答生产运行是否可靠;SRE提供了一套观察运营问题的经验。
这种借鉴需要适配。ML的质量、数据依赖和外部世界变化有自己的失败方式,不能把传统软件的方法原样搬过去。序文引用技术债务论文、模型事故演讲和访谈,意在提供经验入口;本书也不试图给出不变的工具清单,而是帮助团队识别复杂性、约束和取舍。后续各章把这一整体视角落实到数据、训练、服务和组织。
前言:为何采用可靠性视角
本书关注“如何让ML在组织中有用”,而不是重新推导学习算法。可靠数据、模型构建、可逆发布、安全更新,以及成本、性能、业务目标和组织责任共同决定系统的结果。作者主张用简单、标准化的基础降低起步成本,并以整体、可持续、面向用户体验的SRE视角组织工作。这里的可靠性不只是进程存活,还包括模型质量是否满足实际任务。
贯穿全书的YarnIt是假想的纱线网店。搜索排序、相关商品推荐、定价、购物车放弃、库存预测、反欺诈和毛利改善,展示同一业务可产生多种ML候选任务,也展示一个环节的选择如何影响其他环节。案例帮助限定讨论范围,不代表它包含医疗、自动驾驶等所有领域的约束。应用是否值得采用,要看可测的业务价值能否覆盖工程与持续维护成本;作者明确允许试验、测量和取消没有收益的应用。
阅读路线先建立数据、模型、特征、评价和公平隐私的共同基础,再进入训练、服务、监控和持续ML,最后处理事故、产品协作和组织设计。数据科学家、软件工程师、SRE与组织负责人都需要理解其他角色所面对的约束,因此不宜只读自己岗位对应的章节。
前言引用的收益率、调查比例和行业进展都属于本书2022年的材料,本轮未把它们核验为当前统计或普遍收益承诺。章节署名、排版约定、出版支持和致谢已完整读取,不额外生成技术卡或复制个人联系信息。
第01章 Introduction(ML 生命周期与循环)
本章给出全书的框架模型 ML loop,并沿循环逐阶段说明参与者、关键活动与可靠性要点,最后总结循环的启示。
ML 生命周期循环
ML 应用没有终点,也不从单一位置开始或结束,而是一个循环:数据收集 → 训练 → 构建并验证应用 → 质量评估 → 定义并度量 SLO → 发布 → 监控与反馈,反馈再回到数据收集。ML 生命周期循环 指出第一个模型只是后续迭代的起点,无论好坏都会触发同样的管线改动。
原书依据 · 1 处
数据收集与分析
数据收集与分析触及公司几乎所有角色:业务/产品定优化方向,数据/平台工程师建可复用工具,SRE 提可靠性建议。数据收集与分析 强调数据系统的设计与管理是任何好 ML 系统的核心,拿到合适数据后才开始训练。
原书依据 · 1 处
构建并验证应用
构建并验证应用 说明模型须集成进应用才产生价值;以 YarnIt 加购推荐为例,集成后记录日志,日志又成为下一轮训练的反馈。
原书依据 · 1 处
定义与度量 SLO
ML 的 SLO 与 SLI 说明 ML 下 SLO 更难定,因为数据或世界微小变化就能悄然降级;可按 serving/training/应用、golden signals 与 ML 内部信号、业务目的 SLO 切分。
原书依据 · 1 处
循环的启示
循环的启示 总结三点:ML 始于也终于数据;没有单一实施顺序、各阶段相互约束须整体视角;组织成熟度决定投入,ML 工程更像持续实验。
原书依据 · 1 处
第02章 Data Management Principles
本章讲“让 ML 系统的数据处理链可靠可管”:先把数据当负债看待,再沿数据生命周期逐阶段说明采集、处理、存储、可靠性不变量与合规。
ML 管线对数据的敏感性
管线数据敏感性 强调 ML 管线对输入分布细微变化异常敏感,非随机小缺失即可从正确滑向错误,须沿多轴切片监控、及时发现子集整体消失。
原书依据 · 1 处
存储
列导向存储 适合多模型各取特征子集,并强调数据几乎总被多次读取、元数据是被低估的路线图。
原书依据 · 1 处
数据完整与合规
数据完整与合规 涵盖来源/安全/隐私/合规/公平;排除 PII 是简化策略但难保证,合规常来自外部,管辖权与“合规即 SLO”是关键。
原书依据 · 1 处
第03章 Basic Introduction to Models
本章不教如何造出更准的模型,而是帮你理解:当生产系统告警响起时,问题究竟出在哪一层。作者先回顾模型、特征、标签与监督学习训练流程,再系统梳理训练数据、标签、训练方法、深度学习与基础设施中的脆弱点,最后给出 MLOps 应追问的关键问题及 yarnit.ai 点击预测示例,为后续可靠性章节打底。
本章定位与「模型是什么」
本章开宗明义:全书要让含 ML 模型的生产系统表现出可靠的系统级行为,而非追求精度。本章定位:为可靠性而理解模型 指出系统级行为多与模型类型、好坏无关,关键时却离不开它们。模型的定义:规则、特征与预测 说明模型是可用数学或代码表达、把输入映射为预测的规则;E = mc2 简洁泛化,而现实 ML 面对上千维特征,人类写不成 neat rule,只能靠历史数据训练,期望能泛化到未见数据。
监督式建模的基本流程
建模主干是监督学习:收集历史数据、抽取特征并配标签,训练出对新特征给出预测的黑盒式模型。监督学习工作流:特征与标签 讲数据准备。留出验证集与过拟合 用随机留出的测试集防模型死记训练数据。部署与服务:预计算与按需推理 把预测接入生产:或预计算写入缓存,或实时转特征喂模型副本再把预测回填系统。
「模型」一词的三种含义
「model」含糊地指三件相关却不同的事,区分它们对可靠性至关重要。「模型」的三层含义:架构、定义与实例 中,架构是学习策略,模型定义是架构加训练环境闭包(全量特征、超参、随机种子、数据与软件版本),训练模型是某时刻含具体权重与阈值的快照。正因复现闭包与训练不确定性 所说分布式训练的非确定性会让同定义、同数据训练两次也产出明显不同的模型,而这三层都叫「模型」,版本管理与定位才极易混淆。
训练数据的脆弱性
数据即代码:训练数据决定系统行为 是首要薄弱点:数据犹如代码,却有缺陷、难系统测试。作者列出覆盖不全、伪相关、冷启动、反馈回路与世界变化,如覆盖不全与伪相关:白墙检测器 里「美观」图都带白墙,模型在留出集上准确率极高却只是白墙探测器;数据只是历史快照:冷启动、反馈回路与世界变化 提醒数据只是历史快照,封控、新品、回声室都会让旧模型失真。
标签、训练方法与深度学习的脆弱性
标签噪声、错误目标与恶意反馈 指出标注错误会传导进模型、错误目标让模型追逐标题党、开放反馈易被投毒。训练更新风险:验证集复用与预测漂移 提醒复用同一验证集会被隐式过拟合,各版准确率相近却可能在不同用户上犯错。深度学习的特殊脆弱性 则说 SGD 依赖随机初始化、梯度易爆炸、对超参极敏感,对陌生样本易给出自信却离谱的误差。
基础设施与流水线
模型只是更大系统一环,也继承传统系统的复杂性。基础设施与流水线:平台、特征生成与「更好即不同」 指出,依赖 TensorFlow、PyTorch 或云 ML 平台虽能快速用上 GPU/TPU,却引入不可控升级风险与大量「胶水代码」;特征生成 bug 是最常见错误源,训练与 serving 用不同代码路径算同一特征更难查。且修 bug 也可能闯祸:把误报华氏度的传感器改成摄氏度,模型会把 32 度当成酷寒,故须约定变更告知并监控特征分布。
原书依据 · 1 处
一组该问任何模型的关键问题
研究者多关注模型的数学性质,而 MLOps 更需要另一组追问,用来提前看清系统会怎样出错、如何修复、如何为长期健康做工程准备。该向任何模型提出的关键问题 概括了清单:训练数据从哪来、代表什么、会否被操纵、受哪些隐私法规约束;数据存于何处、如何校验、保留多久、用户能否删除;每个特征如何计算与验证;模型在哪些样本上最差;多久更新、上线前谁拍板;系统在上下游依赖与延迟/新鲜度要求中的位置;以及最坏情况能否用护栏、回退与降级策略兜住。
原书依据 · 1 处
示例系统与全章结论
为把追问落到实处,作者用 yarnit.ai 的点击预测模型走查生产系统。yarnit.ai 示例系统与全章结论 展示了它的输入(文本特征、压成 32×32 的图、历史行为)、点击标签与一小时窗口、反作弊批处理、约 12 小时更新延迟,以及几百 QPS 下的低延迟服务;并列出需监控的新鲜度、预测稳定性、特征分布,以及无限延迟、全零、全坏、偏爱少数等最坏场景与回退手段。全章由此收束为一句:模型行为由数据而非形式化规格决定,数据一变行为即变。
原书依据 · 1 处
第04章 Feature and Training Data
本章讲训练数据本身:原始数据如何被创建、清洗、标注、存储,最终供训练系统使用。作者把基础设施拆成特征系统、人工标注与元数据三个子系统,讨论特征定义与取值、特征生命周期、特征存储的 API 与访问模式、转换特征的代码漂移、标签与标注质量、元数据设计,以及 PII 隐私与公平。全章以虚构毛线店 YarnIt 的推荐模型贯穿,核心关切是可复现、可管理与可靠。
章首导论:数据到模型的三大子系统
本章讲的是数据本身:它如何被创建、处理、标注、存储,并最终用来生成模型;管理数据会给可复现性、可管理性与可靠性带来特定挑战。作者把承接源数据、为训练系统准备数据的基础设施拆成三个功能子系统,见 三大功能子系统:特征、人工标注与元数据。特征被理解为输入数据中具有预测价值的性质,标签则是模型应当输出的正确值,可由日志关联外部事件自动生成,也可由人标注产生。元数据是关于数据的数据,记录特征、数据集与标注的来龙去脉,通常由前两套系统共用,因此留到章末讨论。作者以 YarnIt 推荐模型贯穿全章,并提醒:没有实际数据,就无法判断某特征是否真的有用。
原书依据 · 1 处
特征的本质与两个关键术语
数据本身只是数据,让它对机器学习有用的是特征。特征:让数据对机器学习有用的可测量方面 给出定义:特征是可测量的数据方面或其函数,训练好的模型本质上是这些特征的组合公式,而特征的组合与变换本身也能成为新特征。接着 特征定义与特征值:两个必须区分的术语 澄清一组极易混淆的术语:特征定义是描述『抽取什么、怎么抽取』的代码或算法,特征值则是把定义作用到某条数据后得到的具体输出,例如『用来源 IP 查地理定位得到国家』是定义,『俄罗斯』是值。作者坦言这并非标准术语,只为把抽取逻辑与已抽到的结果分开,这一区分在版本化与停用定义时尤其关键。
特征选择与特征工程
这一节先厘清两个常被混用的活动:特征选择与特征工程 说明特征选择负责识别哪些特征该用,特征工程负责把它们抽取并转换成可用状态,本章合称特征工程;人工路径通常从领域直觉出发,经统计工具评估与头脑风暴筛选候选。随后 人工驱动与算法化特征工程的取舍 对比自动化路径:AutoML 能挑选特征、施加对数缩放/阈值化等变换,甚至学到 embedding,但算法一般只能发现数据中已有的特征,人类却能设想新数据、并理解采集过程中的系统性偏差。作者的结论是人机平衡仍在演化,不宜把特征工作完全交给自动化。
特征的生命周期
作者把特征定义与特征值放在一起,梳理出十步生命周期,见 特征的完整生命周期:从数据收集到停用:从数据收集/创建、清洗归一化、候选定义创建、特征值提取、存入特征存储、定义评估、训练与在线服务,到更新定义、删除值,直至停用定义。几个工程约束贯穿始终:涉及在线服务时必须有一份能在 serving 抽取同样特征的代码,理想情况训练与服务复用同一份;特征定义应版本化以便修复后重算旧数据;删除值可能出于合规或质量原因。定义评估还分两阶段,先粗粒度判断是否有用,再持续评估其质量与相对成本的价值。
原书依据 · 1 处
特征系统:摄取、存储与访问
这一节沿数据流走一遍工程系统。数据摄取系统:把原始数据变为特征值 讲数据摄取:一次性抽取可用临时代码,反复使用就必须建成可重复、可监控的流水线,并配套版本化、测试系统与 staging 环境来约束用户编写的特征代码。特征存储及其 API 能力 讲特征存储,强调其最重要的特性是 API——存放定义与值、高效供数、与元数据协调写入,并按结构分为 Columns 与 Blobs 两类。按删除范围加密:低成本实现有效删除 则处理访问与删除:小数据反复重训值得做列式预处理,大数据用几次就删则应廉价摄取;按删除范围加密、只删密钥,可低成本实现有效删除。
转换特征与特征质量评估
这两张卡都关乎『特征该不该、以及放在哪里计算』。转换特征:把计算移入特征存储以消除代码漂移 指出转换特征是存放在存储系统里的确定性变换,历史上训练与 serving 各实现一份必然产生代码漂移,把它移进特征存储可消除整类失败;物化列能省算力,却带来定义变更需全量重算、以及物化值与源数据不同步两个风险。为每个新特征计算投资回报率(ROI) 则给出保留与否的经济判据:即使特征带来价值,也可能不值采集、处理、存储与维护的成本,因此应逐个粗算 ROI,用加一个特征重训、导 1% 流量做 A/B 测试的方式快速验证,让收益与成本一起进入决策。
标签与人工生成标签
作者强调比特征更重要的其实是标签,见 标签、人工标注与数据增强:特征是模型输入,标签是正确输出的示例,训练时用来设定模型内部参数,留出的标签还用于评估质量。推荐系统这类问题的标签可由日志关联订单算法化生成,比人工标注更一致准确,也常与特征一起存进特征存储。语音转写、图像分类、判断钩针针法这类任务则必须靠人,成本很高:要培训标注员,同一张图常需多人标注才可信。为放大昂贵标签的价值,常用数据增强对特征做缩放、裁剪、加噪等不改变标签正确性的变换来扩充样本;但增强应由训练系统完成,且不能把同源图分别放进训练集与测试集。
原书依据 · 1 处
标注团队、质量与辅助标注
人工标注的落地难点在组织与效率。标注团队与标注质量度量 讨论谁来标:从工程师自标、专职团队到众包平台,规模与公平、成本质量一致性的权衡始终存在,并用一致性标注、黄金集测试题与独立 QA 三类手段把质量设计进系统;改进更依赖培训、文档、任务多样与反馈,而非只看吞吐量。主动学习与 AI 辅助标注 转向效率:主动学习把人力集中到模型最不确定或与标注员分歧的样本,用模型预标注让人工只做确认与补漏;半监督弱标签适合类别定义频繁变动的场景,但须警惕把模型偏差带进标签,也别忽视随边缘案例不断膨胀的标注文档与培训。
元数据系统
特征系统与标注系统都依赖对元数据的高效追踪,见 元数据系统:单一系统还是多个协作系统。元数据系统最低限度要记录已有特征定义及其在各模型中的版本;作者批评两种常见失误:起步时完全不做、日后追悔,以及长出多套互不相认的系统。单一系统便于跨子系统关联但 schema 难稳定,多套协作系统解耦、故障隔离却难做跨系统 join,需共享唯一标识或再建 meta-metadata 系统。原则是需求简单明确时优先单一系统、领域快速发展时选多套,且元数据系统绝不能位于训练或服务的实时路径。数据集、特征、标签、流水线各有应记录的要素,如来源、责任人、版本日期、使用限制与置信度。
原书依据 · 1 处
数据隐私、公平与全章结语
末节把视角拉到合规与伦理,见 PII 数据的三项预先规划:特征与标注数据都可能含 PII,若决定纳入,就要提前做好最小化处理与存储、限制并记录访问、尽快删除三件事,采集之前先建立用户同意流程并书面说明数据全生命周期。作者提醒私有数据更像负债而非资产,非隐私数据组合也可能拼出隐私要素;人工标注 PII 宜拆分数据让标注员只见非 PII 部分,文化偏差则靠清晰文档、充分沟通和多样化团队对冲。公平问题在第 6 章展开,仅避开无代表性、有偏差的特征并不足以保证公平。结语重申:生产 ML 需要高效一致管理训练数据的机制,结构化特征存储与配套标注系统缺一不可。
原书依据 · 1 处
第05章 Evaluating Model Validity and Quality
新模型上线前要回答两问:会不会把系统搞崩(有效性),好不好用(质量)。本章把有效性拆为版本、加载、单请求、资源与灰度放量等检查项,把质量拆成“指标 + 分布”,梳理留出集、回测、黄金集、压力测试、切片与反事实等分布及偏差、校准、AUC、MSE 等指标,最后用流程、自动化与组织文化把验证固化。
有效性检查(上):版本、加载与单请求
有效性测试先排除低级却致命的事故。确认服务的确实是打算上线的版本,时间戳等模型内元数据是兜底;再复制生产环境试着加载,因为文件格式会漂移、文件过大可能在内存受限环境失败,且文件大小与实例化后的内存占用并不等同。接着只喂一条最小请求:单样本起步风险最小、最好排查。平台版本不一致、特征代码不同步、模型损坏含 NaN、缺失管线、结果越界都属此类,见版本正确与可加载与单条最小请求与崩溃源。
有效性检查(下):资源与放量
在线服务有硬延迟预算,实时翻译只有几百毫秒、高频交易更少;精度优化常与延迟、算力、内存冲突,必须贴近生产环境实测,因为生产硬件与网络的瓶颈和开发环境不同。离线批处理要核算整体计算成本,模型在 RAM 中的占用也要提前评估,这些检查可自动化,也值得人工权衡。全部通过后仍不该一键全量切换:先接一小股流量,确认服务表现符合预期再逐步加量,这种金丝雀放量把最后一步验证与生产监控衔接起来,见资源边界与灰度放量。
指标(二):精确率、召回率与 AUC
精确率与召回率围绕“正例”且互为张力:提高阈值让模型更有把握才判正,精确率升、召回率降,必须一起看;正负样本极不均衡时它们比准确率更稳。AUC ROC 把各阈值下的真正率与假正率画成曲线求面积,是阈值无关的度量,等价于“随机取一正一负,模型给正例更高分的概率”,省去调阈值,却会被远离合理阈值的排序改进欺骗。类别高度不平衡时 PR 曲线下面积更有信息,尽管没有严格理论含义,见精确率召回与 AUC。
指标(三):回归误差与对数损失
回归指标不看阈值,直接比较预测与真值:取绝对值得 MAE、平方得 MSE,都以 0.0 为完美;MSE 重罚大误差却易被噪声与离群点干扰,最好两者都算,看结论是否定性不同。Log loss 源自 logit,适合把输出当真实概率,能区分 0.99、0.999、0.9999,越自信的错误代价越大;但输出恰好 1.0 或 0.0 且判错时,损失变无穷、以 NaN 毁掉均值。这类指标便于比较,却忽略“某些错误更贵”的权衡,见回归误差与对数损失。
落地与结论
有效性评估靠培训、检查清单与流程、加自动化代码即可普及,把人力判断留给更难的质量问题。组织成熟度通常分三段:早期只求跑通,首版用留出集 AUC ROC 衡量点击;随后发现盲点,补冷启动分布与按国家、商品类型的校准和偏差切片;更成熟后质疑基本假设,意识到优化点击不等于优化长期满意度,可能重做整套评估栈。结论呼应开篇:有效性确认不破坏系统、质量确认预测改进,二者共同建立信任,持续循环部署的系统还需第 10 章的额外验证,见落地与结论。
第06章 Fairness, Privacy, and Ethical ML Systems
本章聚焦构建与部署 ML 系统时的伦理考量与法律义务,由《Practical Fairness》作者 Aileen Nielsen 独立撰写。全章沿公平、隐私、Responsible AI 三条主线展开。公平部分先澄清公平即无偏与垃圾进垃圾出的真正含义,铺陈抽样、差别对待、系统性偏差、多数暴政四类偏见来源,再比较群体平价与校准两类定义、揭示二者在真实数据上数学不可兼得,并给出预处理/处理中/后处理三类干预、算法回退与公平是过程的工程观。隐私部分从去标识化失效讲起,介绍 k-匿名、差分隐私,以及访问控制、数据最小化、隐私设计等可落地措施与相关法律。Responsible AI 部分讨论可解释性、有效性与社会文化适宜性,最后按 ML 流水线各阶段列出该问的问题与组织实践建议。阅读重点是建立概念分类与情境化判断力:没有单一公平定义,也没有万能解法,最该先问的往往是到底该不该用 ML。
本章缘起与基本立场
本章由编辑特邀《Practical Fairness》作者 Aileen Nielsen 独立撰写,只做行文清晰度反馈、观点与终审权全归她本人,以避免有强行业背景的作者在争议议题上难以持平。开篇即坦承公平与伦理在 AI 领域高度争议,甚至不用 AI/ML 就是一种可行的促进公平立场;同时也提醒:前算法时代由人类决策者主导的方案并不总好,实证显示种族会影响法官量刑与店员退货决定,因此相对人类基线,算法在某些场景确实可能带来改进。全章定位不是穷尽指南,而是为 MLOps 从业者建立基础伦理意识与可用的概念分类。相关要点见 公平与伦理是充满争议的领域 与 别默认人类决策更公平。
公平即无偏:偏见的多重来源
主流把 fairness 理解为 bias 的缺席、bias 即不公平,担忧训练数据取自带偏系统。但关键澄清是垃圾进垃圾出里的垃圾未必指坏数据,而是指由不具代表性的数据或算法偏见产生的结果;偏见的根本来源可出现在流水线许多环节,坏建模选择与坏数据同样是源头。原书列举了四类常被援引的来源:抽样偏差(采集过程自带偏见)、差别对待(个体被明确区别对待)、系统性偏差(无法在个案指认、却在总体层面显效的结构性限制)与多数暴政(数值多数类主导训练损失)。前两类与后两类分别由 公平即无偏,垃圾进垃圾出的真正含义、抽样偏差与差别对待、系统性偏差与多数暴政 串讲。
解决方案主义:先问该不该用 ML
在展开各类偏见与公平技术之前,作者先给出一个更根本的建议:如果能不用 ML/AI,就别用,这能一举绕开整类公平难题。许多系统加自动化未必更好,人工介入有时更高效也更公平;即便认定需要自动化,也要在全算法与全人工之间想清楚究竟让算法做哪一段、做到什么程度。作者把因为手边有个现成时髦解法(ML)才去找它能解决什么问题称为解决方案主义(solutionism):它往往只增加复杂度、风险与成本,价值很小、无净收益,还可能引入显著偏见。ML 系统必然复杂,用在契合问题上能成大事,错配场景则风险巨大。核心做法见 解决方案主义——先问该不该用 ML:持续、怀疑地追问 ML 是否必要,把精力收敛到真正增值、值得为其隐私与公平投入的应用。
公平的定义:群体平价与校准
ML 社区并未就单一公平定义达成共识,却有几个直觉上吸引人的类别:个体公平(除种族、性别等无关因素外相同的人应被同等对待)、群体公平(各群体错误率与整体性能相当),以及更复杂的因果机制路径。作者从中挑出两类直观且分别凸显不同公平观的定义——群体平价(group parity)与基于校准(calibration)的评估。作者特意加了一段提醒:现阶段不该把收敛到单一公平定义当作目标,一来没必要,二来 AI/ML 理论主要由社会主导群体掌控,不宜由他们裁决未来唯一的公平标准。两类定义的分野与不必急于收敛由 公平没有单一定义:个体群体与不要急于收敛 说明,而它们各自的确切含义与 COMPAS 例子见 群体平价与校准:两种公平定义。
定义冲突、规范价值与法律底色
两类公平定义在真实数据上会正面冲突。COMPAS 再犯评分通过了当时被视为金标准的校准检验,却被 ProPublica 揭出对黑人被告假阳性更高、对白人假阴性更高;学者随后证明:除非各群体事件基准率相同,否则统计平价与校准在数学上无法同时满足,而基准率相等在现实里极少成立。因此必须为具体工具选择并强调某个公平指标,也别让完美成为好的敌人。这背后其实是价值选择问题:规范价值(应当如何)区别于实证现实(实际如何),而同等资质之类的表述本身就难以清晰辩护。加上反歧视法在就业、教育、医疗、住房、信贷等民生领域早有数百年根基,触及这些领域的 ML 必须深挖本国法律。相关分析见 公平定义在数学上不可兼得 与 规范价值与公平的法律底色。
达成公平:三类干预、回退与过程
明确了目标定义后,经典 ML 设置提供三种让结果更公平的介入模式:作用于数据的预处理、作用于训练的处理中、作用于输出标签的后处理,各有机制、模型无关性与代价。选哪一种取决于组织真正掌控的环节,也取决于是否认为对不同群体设不同分数线、把可能正确的输出换成随机数在规范上可接受——监管与伦理领袖至今没有成熟指引,只能逐案情境化判断,永远不存在适用于所有场景的单一公平解法。此外还要预备算法回退(输出冒犯公平、监控越过阈值或过于严厉时立刻切断、转人工或做激进透明),并把公平理解为持续过程而非一次性终点。技术细节见 达成公平的三类干预,工程落地与心态见 干预选择、算法回退与公平是过程。
隐私:重识别、k-匿名与差分隐私
隐私在学术上出了名地难定义,度量难做、更难面向未来。大数据提供了戏剧性反例:专家曾认为删掉姓名、地址等标识即可安全发布去标识化数据,但当大量围绕重叠人群的数据集被汇编,仅凭生日、邮编、性别就能重识别多数美国人。原书介绍两种把含个人信息的数据集转成可发布形式的形式化思路:k-匿名要求任一类别组合的桶里至少有 k 个个体(可通过粗化生日、邮编实现),把隐私理解为不在太小的组里;差分隐私则给数据加噪声,使能否从聚合结果推断某个体获得概率性保证,并可延伸到模型训练与 GDPR 删除权。两种思路与重识别风险见 隐私难定义、去标识化失效与 k-匿名 与 差分隐私。
隐私保护的落地措施与相关法律
k-匿名与差分隐私都很专门,最好交给专家实现;但作者强调,还有一批透明、易实现且有意义的隐私增强措施,数据科学家与 ML 工程师却常感陌生,反而系统管理员与合规人员熟悉,理应纳入工作流成为日常实践。技术侧包括访问控制(按需申请、定期复核回收)、访问日志(记录谁何时访问、借使用模式重构存储)、数据最小化(不因将来或许有用而采集)与数据分离(把姓名地址等与建模无关信息分开存);机构侧包括伦理培训、随手可得的数据访问指南、以及隐私设计——隐私不该在流程末尾补上,而应从一开始就内嵌各阶段。法律侧还有数据泄露通知法、以 GDPR 为代表的数据保护法、以及反不公平与欺骗行为法(FTC 据企业自定隐私政策执法)。整体见 隐私保护的落地措施与相关法律。
Responsible AI:解释、有效性与社会文化
Responsible AI 是训练或部署 ML 时要考虑的伦理关切的统称,范围连业界与学界都还没摸清,原书只举近年热点。其一是解释(可解释性):解释没有唯一正确答案,需按目的与受众定制——查模型质量宜用全局解释,帮被拒贷者改进宜用局部解释;起步至少让用户知道用了哪些输入,再给出特征重要性、用反事实对做嗅觉测试。其二是有效性:ML 产品要真正达成目标且出于对的理由,警惕 O’Neil 所说自我实现的预言(招聘算法只预测了谁不易被录用、系统性缺失数据),并关注鲁棒性、验证过的性能与逻辑。其三是社会文化适宜性:能否自动化得好不等于让人觉得被尊重,Twitter 甚至以移除照片裁剪功能作为最公平的解。要点见 Responsible AI 之解释:可解释性 与 有效性与社会文化适宜性。
沿 ML 流水线落实与结论
上述关切在真实流水线里必然重叠,作者因此按阶段给出应向团队提出的问题:用例构思先问隐私、尊严与是否属需重点守护公平的重要决策;数据阶段问知情同意、用途透明、探索性偏差分析;建模阶段问偏差监控、公平干预选择、鲁棒性、损失函数里不同错误的危害与精度可解释性权衡;验证阶段问代理变量、留出数据稳健测试与解释能力;部署阶段问持续监控、事先定好的评判标准与影子模型;面向市场再问申诉、解释与未知问题的发现机制。结论给出务实建议:建立机构规则与保障、从小处(数据访问、申诉界面、统计平价)起步、逐步引入红队与伦理清单、在产品构思期就常规处理伦理、用数据文档与良性循环持续改进——也包括有时干脆不用 ML。汇总见 沿 ML 流水线落实 Responsible AI 与结论建议。
第07章 Training Systems
本章把视角从数据与模型本身移到「模型是如何被造出来的」:训练系统。作者先区分训练算法(读取数据、更新模型的具体步骤)与训练系统(围绕算法的一整套软件),指出单机训练最简单、分布式带来规模也带来复杂度,且训练系统在不同组织间的形态差异远大于服务系统,因此只讲一个理想化的简单分布式训练系统。随后依次拆解必备要素、特征与特征存储、模型管理、编排与调度、质量评估、监控,再用一整组通用可靠性原则串起全章:多数故障并非 ML 特有、模型必被重训、模型会同时存在多个版本、好模型终会变坏、数据总会不可用、模型还会被不断改进,以及训练过快、资源利用率与效率之别、故障需计入恢复时间。最后落到三类常见训练可靠性问题(数据敏感性、可复现性、容量短缺)与结构性难题(组织、人才与伦理治理)。阅读重点是建立「先把通用分布式系统做可靠,再谈 ML 特有工作」的工程次序感。
训练、训练算法与训练系统
本章开篇给出三层定义:训练是把输入数据经一组 ML 算法转化为模型的过程;训练算法描述软件读取数据、更新模型以表征数据的具体步骤;训练系统则是围绕该算法运行的全部软件。最简单的训练系统只是单机单进程读入数据、清洗并施加一致性约束、跑算法、产出一个带新参数值的模型;云厂商也确实出租很强的单机配置。但生产中有意思的 ML 用例往往要处理相当规模的数据,因而需要多台机器——分布式带来规模,同时带来复杂度。三者关系见 训练的定义与产出 与 训练算法与训练系统的职责边界。
形态差异与本章范围
作者强调,训练系统是端到端 ML 系统里各组织间共性最少的一环:有的贴近输入数据、几乎完全离线;有的嵌在服务平台上与之紧耦合;模型状态的维护与表示方式也各不相同。相比之下第 8 章会看到服务系统的基本需求高度相似——把模型装入内存、回答应用查询。正因差异太大,本章不试图穷举,而是描述一个位于 ML 循环独立区段、紧邻数据、产出物交给质量评估与服务的理想化系统,并讨论必备要素以及额外可靠性/可管理性特性的成本收益。取舍见 单机最简与分布式复杂度 与 理想化架构与本章范围。
训练系统的必备要素与配置管理
一个可用的训练系统至少需要:经预处理并以高效访问格式存放、且受访问保护与策略约束的训练数据(含人工标注);把单个模型配置与系统整体配置分开、并存入带团队与数据元数据的版本化系统;多数人不会手写的模型训练框架(含编排、作业调度、开发软件,如 TensorFlow/PyTorch);模型质量评估系统;以及把可服务模型同步到下一阶段的机制。有了这些才谈得上最低限度 productive 的技术环境,之后还要补上多级流水线监控、特征与模型的团队归属元数据、以及完整的特征存储系统。清单见 训练系统的必备要素,配置的长期价值见 模型配置与元数据的版本化。
质量评估系统与特征基础
模型构建是迭代且探索性的,开发者试过并抛弃绝大多数想法,因此质量评估系统要对模型性能给出快速而一致的反馈,让人能迅速决策。作者专门加警告:这是训练系统里最常被跳过、却真正强制的部分——缺了它,每个开发者都会自建一套更临时、更不可靠、对组织成本更高的替代品。评估从「是否加载了正确模型的正确版本、能否在模型服务器里加载」开始,还要覆盖服务时的内存与算力,以及在代表性请求上的表现,最终应可靠到能作为自动门禁拦住坏模型进入生产。特征则是数据中具体的可测方面,需要一致定义、一致归一化与一致语义。要点见 模型质量评估系统不可跳过 与 特征的定义。
特征一致性与特征存储
以 YarnIt 的 purchase price 为例:先要统一币种(比如全折成美元),且必须按某个确定时点的汇率(如数据当日伦敦收盘价)换算并保存所用汇率以备回溯,再做归一化分桶($1 以下一档、$1–$5 一档、之后每 $5 一档)以提升训练效率;关键代价是训练与服务必须用同一套归一化,任何改动都要处处同步更新。存储这些特征的专用系统即特征存储:把一堆文件放在目录或对象存储里起步最快、也便于试新特征,但长期有两个大缺点——难以保证整体一致,常出现训练-服务特征偏斜与特征语义随时间漂移;还妨碍协作与创新,因为无法追溯某个特征是谁、何时、为何加入。相关结论见 特征一致性与购买价格例子 与 特征存储与训练服务偏斜。
模型管理、编排与调度
模型管理系统至少提供三类能力:模型元数据(配置、超参、开发者署名)、已训练模型快照(便于迁移学习快速起新变体,更是误删模型时的灾难恢复依据)、以及特征的作者与使用情况元数据。它不需要复杂,但能把服务一路回溯到训练与存储,缺了它生产出问题时往往无从查起。编排负责协调并跟踪其余各部件,典型如 Apache Airflow;Beam/Spark/Dataflow 之类偏分析流水线,自带较多任务结构假设与集成限制。作者特意澄清 Kubernetes 不是流水线编排系统:它编排容器与任务,却不提供描述数据如何在流水线中流动的语义。作业/资源调度负责启动进程、跟踪并在结束或停止时感知。详见 模型管理系统的三类能力 与 Kubernetes 不是流水线编排。
可靠性原则(一):监控与故障归因
分布式数据处理流水线的监控很难:看最老未处理数据可能被一条卡住的旧数据误导,看处理速率又会被不同数据的成本差异干扰。本章只要求盯住最重要的单一指标——训练系统吞吐量,用它长期趋势设阈值告警,更难的问题留给第 9 章。随后是全章最关键的原则:多数故障不是 ML 故障。训练系统是「恰好对数据极度敏感」的复杂分布式数据流水线,有经验的从业者发现绝大多数事故的根因是普通的软件与系统错误(如训练系统失去读数据权限却在空数据上训练、同步到服务的版本不是以为的那个),只是影响与检测带有 ML 特征;因此先做好版本与部署、权限与数据访问、数据更新策略、复制与校验,再谈 ML 特有的工作。要点见 训练吞吐量监控 与 多数故障不是 ML 故障。
可靠性原则(二):重训、退化回退与数据缺失
必须假设每个模型都会被重训:新想法、更好的数据集、灾难恢复演练、验证工具链完整,都会要求重来一次;把「可重训」写成硬性生产要求,配置、快照、数据与元数据的版本化也就顺带落地,多数所谓离线/在线之争其实是新数据下的重训之争,见 模型必被重训与多版本并存。还要假设好模型会变坏:模型或世界都可能以难以预测的方式变化,于是要有两套备份计划——一是非 ML(或更简单 ML)的回退路径,用启发式或默认值保证基本功能(如推荐模型不可用时改显示热门商品),代价是它会限制模型能好到什么程度,早期采用 ML 的组织适合依赖它但应逐步摆脱;二是保留多个版本以便回滚,但这只在某个新版本变差时有用,世界整体变化使所有版本都失效时无能为力,真正出路是多版本并存加快速开发新变体,见 好模型会变坏与回退计划。数据总会不可用,且训练数据本就经过多重抽样,因此丢数据时要问「丢失是否有偏」:完全随机丢 1⁄1000 基本可忽略,丢掉整个西班牙用户、早晨购物者或大型针织会议前一天的数据则会引入新偏差;反欺诈系统还须防攻击者用短时海量重复交易触发高丢弃率启发式,系统性左右哪些时段被跳过,见 数据不可用的有偏性。
可靠性原则(三):训练过快、资源与结构性难题
另一类反直觉问题是模型可能训练过快:分布式参数状态下多个 learner 并发读写造成竞态,更新堆叠使模型朝某方向过冲、随后又反向过冲而发散;唯一实用的判别是把同一模型用更多/更少 learner 各训一次,慢的反而更好就可能是过快,缓解靠把模型状态放进高速存储并限制在途更新数量,详见 训练过快与竞态发散。本章余下部分给出工程与组织层面的收束。资源侧:训练与服务算力昂贵,利用率=已用算力/已付费算力,云时代应尽早跟踪;余量越大越快从故障恢复,模型越便宜单位时间能试的想法越多。但利用率不等于效率——效率=产出的价值/成本,成本可按钱(真实但受厂商调价干扰)或按资源(CPU 秒/GPU 秒,能立刻反映改进)计,价值可按单模型(如百万样本/GPU 秒)或整体(客户是否更满意、是否更赚钱,以月计)量,有个不太准但可改进的度量也胜过完全没有。故障恢复时间必须计入停机预算:能容忍 24 小时停机,却要 18 小时才发现、再 12 小时重训,就守不住 24 小时,而建模者常漏算重训。三类常见训练可靠性问题分别是数据敏感性(YarnIt 因改数据格式误把所有折扣购买排除出训练集,模型逐渐不再推荐折扣商品)、可复现性(配置/数据/二进制差异可修,随机初始化、系统并行、数据并行基本不可修,只能放弃「两次训练结果相等」的假设)与容量短缺(I/O、算力、内存带宽不足,且输入数据分布变化而非仅体量变化也会造成容量问题,故障后还需按模型重要性排优先级)。最后是结构性可靠性:组织往往先招建模者、很久才补 ML 系统与可靠性工程师,而 ML 系统问题几乎都是分布式系统问题,有同类规模经验者即可上手;ML 团队又更容易获得高层关注,工程师得习惯与非技术领导沟通。治理上至少要合规于各辖区隐私法、确保数据集公平构建并检查常见偏差,可行路径是采纳一套 Responsible AI 原则并逐步建设把原则一致落到所有 ML 用例的系统与组织能力。
原书依据 · 1 处
第08章 Serving
本章讨论模型造好之后如何「送出去」:服务(serving)。作者先摆出从「把模型装进一千台服务器」「离线预计算一亿个高频组合」「把模型编成 JavaScript 跑在浏览器」「嵌进移动 App」到「按成本/精度分层、便宜模型接简单查询、贵模型接难查询」等一系列看似毫不相同、实则都在回答同一问题的方案。为在方案空间里做选择,全章依次追问六个关键问题:模型要承受多大负载(QPS)、预测延迟要求多严(含尾延迟)、模型该放在哪(本地/自有服务器/云托管推理/端侧)、需要什么硬件(稠密矩阵乘与 GPU、稀疏模型回到 CPU)、模型如何存储加载版本化与热更新、以及服务侧特征流水线如何与训练侧兼容。随后系统比较离线(批量推理)、在线、模型即服务(MaaS)、边缘四类架构各自的优劣,给出选型建议,再落到 MaaS 的 API 设计、测试、扩展(自动缩放与缓存)、灾备与伦理。核心工程判断是:延迟与负载共同定义算力需求,而加副本能解决吞吐却通常解决不了单次预测延迟;服务特征流水线往往才是整条服务栈里最生产关键、也最易埋下训练-服务偏斜的一环。
服务是什么与方案空间
模型训好之后要把预测能力交给世界,这一步俗称 serving,全称其实是「建立一套结构,使系统能就新样本向模型请求预测,并把预测返回给需要的人或系统」。以 yarnit.ai 为例:团队做出了能预测某用户购买某商品概率的模型,接下来要决定怎么把它接进整体系统。作者先列了一串差异极大的可行方案——把模型装进美国得梅因的一千台服务器接全部流量;用大型离线批作业预计算一亿个最常见「毛线商品 × 用户查询」组合并每日写入共享库、未命中就用默认分 p=0.01;把模型写成 JavaScript 放进网页在浏览器里预测;把模型嵌进移动 App 在设备上预测;准备多个计算成本/精度权衡不同的模型版本做分层,简单查询走便宜(较不准)模型、困难查询走昂贵(较准)模型。这些看似互不相干,其实都在回答同一个问题:如何把预测集成进整体系统?全章就是为这类选择建立判据,途中还会讨论服务侧与训练侧特征流水线的兼容性、以及模型在服务中如何更新。定义与取舍见 服务的定义与要回答的问题 与 七种截然不同的服务方案。
原书依据 · 2 处
关键问题一:负载与延迟
第一个判据是负载:服务环境要承受多大流量,按需请求时通常叫 QPS。面向数百万日活的模型可能要处理每秒数万查询,手机上的「Hey YarnIt」唤醒词识别只有几 QPS,而房价预测模型可能根本不按需服务、只是大型批处理流水线的一环。应对大流量有三条路:把模型复制到多机并行(常借云平台做流量分发与随需扩容);用更强硬件(GPU 等加速器,因芯片太强反而常在输入输出上瓶颈,需把请求批处理以摊薄成本);或调低模型本身计算成本(少用特征、更少层或参数、量化与稀疏化),还可以用模型级联——便宜模型先对简单样本做初判,只有难样本才送贵模型。第二个判据是预测延迟,即从发出请求到拿到答案的时间,它在不同应用间差异极大,是服务架构的主要决定因素:yarnit.ai 从用户敲下「merino wool yarn」到看完整页推荐可能只有半秒总预算,扣掉网络与页面构建,留给模型对候选商品做完所有预测的时间只有几毫秒;高频交易与自动驾驶实时制导同样极低延迟;而选钻井点、设计抗体蛋白序列这类应用,使用预测本身要数周数月,延迟并不重要,每天只看一次邮箱的垃圾邮件过滤也自带隐式宽限。负载与延迟合起来定义整体算力需求;延迟过高可上更强硬件或让模型更便宜,但作者特别提醒:单纯增加模型副本通常不是延迟的解法,因为把单个样本送过模型的端到端时间不会因为多几份模型而缩短。真实系统因网络与整体负载会呈现延迟分布,应看最差百分之几的尾延迟而非平均值,否则会漏掉一部分请求被丢弃。三点分别见 QPS 负载与三条扩容路径、预测延迟与应用谱系 与 尾延迟与加副本的局限。
关键问题二:模型放在哪、用什么硬件
在虚拟机的时代容易忘记计算机是物理设备、模型必须存在某个具体位置的物理机器上,而「家」的选择对整体服务架构影响重大。四类位置各有代价:开发者本地机器只适合小规模原型或定制用途,早期依赖它往往给日后迁移生产埋麻烦;组织自有/自管服务器在隐私安全要求特殊、延迟极度关键或需要专用硬件时合适,但扩缩容不灵活且要格外关注监控;云上又分「自有虚拟服务器上跑模型服务」(与自管服务器差别不大,只是扩缩略易)与本章更关心的「托管推理服务」(部分监控被自动解决,但整体模型质量与预测性能仍需独立验证监控,往返延迟因网络更高,跨网传输还引出隐私安全与「某些数据必须留在特定司法辖区」的治理约束);端侧/边缘则因手机、手表、汽车、恒温器、打印机乃至健身器材都有可观算力而被广泛采用,模型多半要存在设备本地以免依赖持续联网并规避复杂隐私,但内存与功耗约束严、模型尺寸受限、推送更新不一定及时甚至永不更新,因而测试与验证的重要性陡增,某些持续监听唤醒词的场景甚至要把模型固化到硬件级以换效率、代价是几乎无法更新。硬件侧的关键事实是:深度模型服务依赖稠密矩阵乘法——计算密集但内存访问模式高度可预测,海量乘加操作并行性极好。典型 CPU 只有约八核、每核一两个 ALU,一次只能并行少数这类操作,其擅长分支与多样运算的优势无从发挥,因此 CPU 上跑深度模型推理很慢;GPU 的思路是「几个 ALU 好,几千个更好」,专为稠密矩阵乘而生,却不适合其他任务。GPU 的另外两个代价是要组织级投入或付云溢价、且对稀疏模型无能为力——稀疏模型只需从巨大可能性里取少量重要信息(如一句话里出现的词),用稀疏线性模型、随机森林或深度模型里的稀疏嵌入可大幅省算力,这类场景 CPU 反而更合适。位置与硬件见 模型该放在哪里 与 稠密矩阵乘、GPU 与稀疏模型。
原书依据 · 2 处
关键问题三:版本更新与服务特征流水线
作为物理对象,服务模型有确定大小:离线服务的模型可存磁盘、在批作业里由特定二进制按需加载,主要成本是磁盘空间、从磁盘加载的 I/O 与载入内存的 RAM,其中 RAM 通常更贵也更受限;在线服务则要把模型放进专用机器的 RAM,高吞吐且延迟关键的还得在多台副本机并行存多份。多数模型终将因新数据重训(第 10 章),更新频率可到每周、每日、每小时甚至更高,于是要在不中断生产的前提下把机器上的当前版本换成新版本,两条主策略:一是给服务作业分配两倍 RAM,让新版本在旧版本仍在服务时先行载入,就绪后热切换——有效但绝大多数非切换时间都在浪费 RAM;二是按一定比例超配副本机数量,然后轮流下线一小部分(如 10%)逐批更新,更渐进也更便于灰度检查与金丝雀。若还要支持 A/B 测试(多数团队都要),架构必须能同时服务 A 与 B 版本、甚至多种 B,支持几个版本及各占多少容量是要在资源、系统复杂度与组织需求之间权衡的架构决定。另一半问题是服务侧特征流水线:训练时对数据做过的任何特征处理,几乎都要在服务时对送进模型的每个样本重做一遍,计算开销可能相当大。简单情形只是把图像原始像素转成稠密向量;典型生产环境则要实时拼接多个来源——yarnit.ai 的推荐模型可能同时要搜索框查询的分词归一化文本、用户信息库里的历史购买、产品库里的价格与描述、本地化系统给出的地理/语言/时段。每类信息来源不同、可预计算或跨查询/会话复用的机会也不同,结果就是把这些信息变成特征的代码在服务时与训练时很可能不是同一套——这正是经典训练-服务偏斜的主要来源,出了名地难发现难调试(详见第 9 章)。现代特征商店承诺用单一逻辑包同时管训练与服务,但现实因系统而异,仍值得配健壮监控。作者还强调:服务时造特征是延迟的关键来源、在许多系统里甚至主导延迟,因此这条流水线绝非事后补件,往往才是整个服务栈最生产关键的部分。两半分别见 存储加载与无中断版本更新 与 服务特征流水线与训练服务偏斜。
原书依据 · 2 处
架构一:离线服务(批量推理)
带着上述问题,作者把服务架构归为四大类(可组合使用):离线、在线、模型即服务、边缘。离线服务又称批量推理,通常最简最快:面向用户的应用不直接接触模型,模型提前训练好,在离线环境里对一组预定义的输入数据跑完预测,把结果存成普通数据集(数据库、CSV 或内存数据结构)。如此一来,按需模型预测就被转换成「从存储加载静态数据」这一标准问题——yarnit.ai 可以离线算好每个商品对某类用户的热度、当作渲染任意条目时的排序辅助,也可以把查询意图分类器(具体商品 vs 宽泛品类)的结果写进平面文件或内存结构,直接帮查询引擎改写检索。优势很清楚:不需要专门基础设施、运行态活动部件少;应用做简单键值查或 SQL 即可;预测已预计算所以返回极快(对某些关键应用可能是压倒性理由);按标识符分表分记录便于灰度发布与回滚多个模型;还能在使用前验证全部预测,对建立正确运行很有价值。代价同样结构性:训练数据必须提前可得,模型改进上线更慢,上游数据中断会导致陈旧模型、数天延迟、永久丢数与昂贵的回填;服务数据也必须提前可得,要完全正确就得预知每一个可能查询,而长尾查询空间(大量各异且多数不常用的查询)根本无法既高准确又低延迟地覆盖;依赖大数据集或大查询空间时扩展困难;多份模型输出存内存或应用库会受容量与性能限制,进而影响同时跑多个 A/B 测试;还因预计算而完全无法用在线上下文影响预测。详见 离线批量推理:把预测变成查表 与 离线服务的优势与结构性代价。
原书依据 · 2 处
架构二:在线服务(实时推理)
在线服务不依赖固定查询空间上的预计算输出,而是摄取/流式接入实时数据(通常来自用户活动)当场给出预测。yarnit.ai 可以让模型结合当前上下文与历史信息持续学习实时行为,做出更个性化的购物体验:位置、对预计算推荐的浏览/曝光、最近搜索会话、看过的条目、加入又移出购物车的商品都能在预测时纳入,响应方式因此灵活得多;把离线模型的推理与用实时数据训练补充参数的小模型结合,能带来显著业务收益。优势有三:适应性强——模型边跑边学,大幅降低重训与重新部署的节奏,不是在部署时而是在推理时适应概念漂移,对客户表现更好;便于补充模型——不必改动一个全局模型,可用少量实时数据调出更贴合情境(用户级、地域级)的小模型。代价则更硬:必须有延迟预算,模型要访问全部相关特征,新查询得在毫秒内转成特征并取回别处存的特征,通常要靠 Redis 一类内存存储;部署复杂——实时出预测使得模型变更的滚动发布尤其困难,在 Kubernetes 这类容器编排环境里更甚;可扩展性受限——模型会随时改变,不能简单水平扩展,可能要建一组单模型实例集群尽快消费新数据、并把学到的参数随 API 响应返回;监督要求更高——实时变化里可能混入恶意行为并影响模型,需要更先进的监控与调整/回滚;管理要求更高——做对需要数据科学与产品工程两方面的不菲经验与精调,因此大概只值得用于高金额影响的关键业务线,且与 MaaS 结合才更有力。作者顺带指出实时预测可同步也可异步:同步更易推理,异步在结果传递方式上灵活得多,可按应用与端(浏览器、App、设备、内部服务)选用推或拉。详见 在线实时推理与上下文 与 在线服务的五类代价。
原书依据 · 2 处
架构三:模型即服务(MaaS)
MaaS 类似 SaaS,天生偏向微服务架构:模型存放在专用集群、通过定义良好的 API(gRPC 或 REST 皆可)提供结果,因以微服务形态提供而与主应用相对隔离(不必进程内交互或紧耦合),因此是最灵活、最可扩展的部署策略,也是本章后续重点。优势成组:能利用实时上下文与新特征做实时预测;关注点分离使 ML 工程以更稳的方式调整模型、套用成熟的运维手法,多数 MaaS 模型可做成无状态无共享配置依赖,加容量就只是加实例(水平扩展);部署隔离让应用与模型服务各选技术栈、各自按不同节奏发布到 QA/预发/金丝雀等多环境;版本管理易扩散——同集群存多个版本按需指向,极便于 A/B 测试,还可把模型标识设计进服务响应,让干系系统据此跟踪、路由、归集事件数据(例如记下某次结果由哪个模型服务),支持滚动重部署;集中化又让系统健康、容量/吞吐、延迟、资源消耗以及每模型的展示/点击/转化等业务指标更容易监控——只要把输入输出包一层并标准化「按配置识别与加载模型」,很多 SRE「黄金四信号」类可观测指标就能接现成工具顺带拿到。代价也对应:管理开销——上了微服务这列车就难下,维持安全运行要大量(好在已被充分记录与理解)开销;组织合规——标准微服务框架带来日志聚合、指标抓取、容器与算力元数据、托管交付等「免费」能力,同时也会带来隐私、安全标准、认证、审计、资源限额与各类迁移的变更要求;延迟预算必须留足——把调用栈外化后延迟成为不可忽略的硬约束,用户感知延迟要压在亚秒级,这会反过来约束所有协作系统的性能,还容易形成「没有哪个团队对端到端性能负责」的组织盲点;分布式可用性——必须稳健容忍部分失败,模型服务宕机时调用方要有合理回退。详见 MaaS:以 API 提供模型能力 与 MaaS 的四类代价。
原书依据 · 2 处
架构四:边缘服务与架构选型
第四类是把模型部署到边缘设备上,设备可以是 IoT 门铃、自动驾驶汽车直到今天联网边缘设备的主体——智能手机。这类模型通常不孤立存在,服务端会有补充模型填补空缺,多数边缘应用也主要靠设备端推理(未来联邦/协作学习或改变这一格局)。贴近用户在某些应用里是巨大优势,代价是资源限制严峻。优势:低延迟——模型在设备上更快,近瞬时响应且无丢包风险,对自动驾驶这类高延迟或抖动可能造成事故伤亡的场景几乎是强制要求;网络使用更高效——本地能答的查询越多、要发到网上的越少;隐私安全更好——本地推理使用户数据与基于它的预测更难被攻破,对可能涉及 PII(用户画像、位置、交易史)的个性化搜索与推荐尤其有用;更可靠——网络不稳时把原本远程执行的操作放到本地就成为可取甚至必需;能效——某些情况下本地计算比网络传输更省电。代价:资源约束(专门化)使边缘设备只能做少数任务,训练、构建与服务大模型仍应由非边缘基础设施承担;资源约束(精度)使吃内存又算力昂贵的模型难以甚至无法塞进内存受限设备(SqueezeNet、MobileNet 等参数高效网络正是为在不牺牲太多精度下保持小而快);设备异构与设备专用语言让 iOS/Android 上边缘服务与端上训练保持一致很难,且需要 ML 工程师与移动工程师两个高度领域化的群体协作,可能造成稀缺共享专家团队的组织紧张;设备软件版本在用户手里——除非用 backend-for-frontend 代理把部分调用转回服务端,否则更新周期由设备所有者控制,推了关键改进不等于数百万用户会升级,他们可以长期停留在旧版,因此边缘模型必须能长期稳健运行并维持其预测与端上学习配置,是带大量前瞻性技术债与遗留支持承诺的重大架构决定。作者还特意提醒版本跟踪的重要性:反馈回路数据、备份、灾备与性能度量全都依赖它。选型上给出极简规则:先考虑应用所需的数据量与数据速度——极低延迟优先就用离线/内存服务;否则用 MaaS;若本就跑在边缘设备上,自然用边缘服务。本章余下聚焦 MaaS,因它最灵活、约束最少也最宜讲解。四类方案见 边缘服务的优势与四类代价,判据见 先按数据量与速度选架构。
原书依据 · 2 处
MaaS 落地:API、测试、扩展、灾备与伦理
生产级模型由多种语言、工具链、框架与自研软件建成,接入其他生产系统时可访问性与互操作性都受限,用 REST 风格的资源导向架构(ROA)提供抽象 Web 服务接口是常见解法(Google Prediction/Vision API、Azure ML 等即其体现),多数 SOA 最佳实践同样适用,但模型有三点特别:数据科学团队往往缺生产运维经验,要真正吃到 DevOps 红利就该让他们完整拥有模型发布、与运维团队共同承担而非「移交」;特征分布哪怕微变也可能让模型漂移,而复杂模型的表示构建可能横跨多条数据流水线、数据库乃至上游模型;且 predict 阶段通常纯计算密集,表示阶段却更偏 I/O 密集,这在服务环境里相当独特。作者认为驱动推理服务设计模式的压倒性因素其实是组织支持与技能组合——让数据科学团队全拥有端到端组件与彻底剥离生产关注点之间存在根本张力,偏向任一端都不健康:拥有太多会被无受训的生产事务压垮,拥有太少则脱离生产现实、无法修错或参与架构规划。因此部署到生产的其实是两样东西:模型本身,以及查询模型取预测的 API;两者产生大量遥测,用于监控、检测漂移与异常并回流到训练阶段。上线前至少要做功能测试、统计测试(如 1000 个未见请求上预测类别分布应与训练分布相符)、错误处理、负载测试与端到端测试。性能提升未必等于业务增长,应把模型指标与业务 KPI 关联(yarnit.ai 例:单次访问页面浏览量高低各有负面解读、老客户复购订单关乎品牌与增长);韧性模型虽在准确率/AUC 上未必最佳,却在训练集之外的广泛数据上表现好、更久有效、更少需要打断生产去监控重训,可用交叉验证标准差更小、生产错误率长期更稳、测试与验证集错误率差异更小、受输入漂移影响更小来评估。扩展侧:API 实例数应随请求上升而增加、随负载下降而收缩以免集群资源闲置浪费开支,即自动缩放(监控 CPU/内存等目标指标与阈值比对,并配置最小/最大容量与冷却期,yarnit.ai 里拼写纠正模块可与个性化推荐邮件模块独立伸缩);重复查询(如「cable needles」→ Equipment → Needles)可缓存,小量查询用应用内或模型 API 服务器内的内存缓存即可,海量查询则应扩成可独立伸缩与监控的缓存服务。灾备除 SaaS 通用的抗数据中心失效、分散基础设施风险、避免供应商锁定、快速回滚坏改动、熔断防级联外,ML 对训练与数据流水线的深度依赖还额外要求:容纳数据 schema 变更与数据库升级、接入新数据源、有状态数据资源(在线学习状态、App 崩溃后边缘端上重训状态)的持久恢复、以及面对缺数据或上游 ETL 中断的优雅降级;缺乏这些,遭遇无法解释的数据变化或中断的模型可能要下线离线迭代数月。还应把「数据可扩展性」作为早期架构考量(否则日后被新特征的数据物流卡住),按 SLO 决定是否跨多数据中心/可用区部署以便故障时快速切流,并持续快照模型数据、保留最后已知良好副本。伦理侧:在开发部署框架内建立制衡并对内外部透明说明采集什么数据、怎么用;请求/响应 schema 尽量不含用户个人与人口统计信息,若含则服务预测时不得记入日志,极致重视隐私的组织甚至用短生命周期标识/令牌替代 user ID、device ID 等唯一标识;即便模型 API 只在内网可达也要投入加固端点;公平与伦理是每个人而非仅伦理学家的责任,治理需法务、风控、运维与预算规划、全体工程成员整体参与。扩展与灾备的工程抓手见 自动缩放与缓存。
原书依据 · 1 处
第09章 Monitoring and Observability for Models
本章由 Niall Murphy 与 Aparna Dhinakaran 撰写,主题是「监控正在做 ML 的系统」而非「用 ML 来监控系统」(后者常叫 AIOps)。作者坦言管理生产系统本就介于艺术与科学之间,加上 ML 的复杂性更像前沿探索而非成熟学科,但仍给出可落地的框架:先立定义(监控提供系统表现数据,可观测性让带标签的监控数据足以反推系统行为,告警则定义什么叫出错并可靠通知责任人),再讲 ML 带来的特殊关切——建模社区习惯把指标用于优化而非检测、生产可解释性工具缺失、开发与服务的模拟鸿沟、尚无等价于 CI/CD 的模型交付实践、以及训练-服务偏斜。核心主张是全生命周期监控:业务 KPI 必须与模型指标关联并从开发一路追踪到生产。随后按「训练/输入数据/处理/整体视角」「模型验证与回退」「服务监控的模型-数据-服务三要素」列出具体检查清单,深入讨论实际值到达的四种情形(实时、延迟、有偏、几乎没有)与代理指标、三类漂移及 PSI/KL/Wasserstein 距离、类别与数值数据的质量检查,最后落到 SLO、黄金四信号、告警与 catch-up time、日志与分布式追踪、公平与隐私。阅读重点是建立「监控对象必须覆盖模型、数据、服务三层且以业务结果为锚」的整体观。
监控、可观测性与告警的定义
本章明确区分对象:讲的是监控正在做 ML 的系统,而不是用 ML 去监控系统(后者常叫 AIOps)。最基础地,监控提供关于系统表现的数据,并让这些数据以合理方式可存储、可访问、可展示;可观测性则是软件的一种属性——正确编写时,被发出的监控数据(通常还经标签/标记扩展)足以让人正确反推系统行为。为什么要做:最紧迫的是判断系统是否真的在工作,DevOps 运动共同发起人 Andrew Clay Shafer 写过「系统宕机了,软件就没有价值」;而且系统并非布尔式的非 up 即 down,而是在从极好到极坏的谱上,监控必须如实表达这种现实。监控的一个重要分支是绝对关键的告警:定义「出错」的条件,并可靠地通知到责任人(如 paging),是「捍卫用户体验」的关键手法。定义与边界见 本章范围:监控 ML 系统而非 AIOps 与 监控与可观测性的定义。
告警、长期趋势与监控系统的形态
没那么紧迫但同样要紧的是为长期趋势分析、容量规划与理解服务包络而监控:服务是否划算、有无不明显的性能悬崖、是否存在数据分布漂移、周末与工作日的延迟如何影响用户行为——没有监控与可观测性,这些都无法很好回答。机制上,被监控的目标系统发出带标识名的数字序列即指标,监控系统通过推或拉收集,再经聚合(跨实例/机器求和或求速率)与装饰(附加事件细节)变换后用于分析、调试与告警,通常以时间序列存储、可查询且常能绘图,好让人用视觉比较硬件(眼睛、视网膜、视神经)判断真实情况。可观测系统再进一步:不只是 server.requests_total 这样一个计数器,而是拿到带标签的切片,如 {lang=en}、{lang=fr}、{lang=zh} 等,细到可以构造「过去 12 天罗马尼亚语查询中延迟超过 1200ms 且返回 404 的请求」这类查询。加上 ML 系统作为目标系统后,前述所有问题之外还会叠加 ML 特有的问题。见 告警与长期趋势分析 与 指标聚合、时间序列与标签切片。
ML 带来的额外关切:心态、业务价值与开发鸿沟
一个重要关切甚至不是监控 ML 的技术任务,而是建模社区如何看待这件事:建模者非常清楚软件有输入输出、应当被观察,但常缺少对模型进入生产之后发生什么的意识与参与——部分源于 monitoring 一词既可指模型开发中的检查、也可指生产系统的持续观察,很多开发者没意识到「同等的可检查性要求」本该在模型运行于生产时同样成立。若你的背景是用指标做优化而非做检测,这个缺口尤其明显,而检测恰恰是关键用例,监控应贯穿模型全生命周期;ML 在生产执行时的可解释性本就困难(工具基本只面向开发阶段),使监控 ML 更难。正面价值同样硬:2008 年 Amazon 发现每多 100ms 延迟就损失 1% 销售,Akamai、Google、Zalando 等也确认过类似结果;没有可观测性根本无从发现这种效应,更无从确知自己是在改善还是恶化它,因此可观测性数据本质上就是业务结果数据。此外在生产中有效模拟开发极难:服务架构多样(模型池、共享库、边缘设备)、开发时常直接调用预测方法、生产里又不能任意操纵输入/日志级别/处理,且测试数据分布未必像生产数据——对 ML 而言分布至关重要。传统软件已有 CI/CD、单元测试、小改动等成熟实践(见 Accelerate),而模型开发今天还没有等价物,只能期待 MLflow、Kubeflow 等成熟与全周期监控心态普及。见 心态缺口:从优化到检测 与 可观测性数据即业务结果数据。
偏斜、心态转变与服务前通用建议
skew 一词覆盖面很广:底层数据的偏置分布漂移、异常值(尤其意外异常值)、数据解释上的语义违背、缺失特征值、以及本应同步的两条变量或数据流失去对应;在 ML 系统里反而很少用统计学那层含义。最可能引发生产问题的是训练-服务偏斜,即模型在训练与服务中表现的任何差异,常见成因是特征定义在两处不同、数据本身有变化或缺口、乃至算法与任务间的反馈回路;这类偏斜是可避免故障的常见原因,所有简单成因都应成为监控目标。但检测手段是模型特定的(至少特定于某架构、配置与用途),不存在「替所有模型监控一切偏斜」的现成函数——我们能发现训练与服务有差异,却未必知道成因或该差异是否有意义,也无从在不清楚数据域与预期覆盖时判断覆盖差异。因此监控系统要通用灵活,而逐个模型/模型族的监控必须由生产工程师与 ML 工程师紧密协作实现。更根本的是文化与组织:建模者习惯想部署前的建模 KPI,而建模 KPI 未必直接连到业务 KPI;部署后阶段往往比想象中长久,交付框架虽在一定程度上限制便利,却提供了否则只能临时拼凑的生产监控与管理保证。TensorBoard、Weights & Biases 这类开发工具通常不能自然迁移到生产,很多做法今天还得自己补,因此本章目标是推荐全周期监控,并给出除「模型本就旨在改善的业务指标」之外的一组默认监控项。服务前最重要的一条:业务 KPI 应与模型指标相关、且能从开发连续追踪到生产;只有基础设施洞察而无业务洞察的模型近乎无用,只在开发里表现好却看不清生产行为的模型甚至可能比无用更有害。数据完整性监控应优先照顾最重要的特征,如打车 ETA 模型里接客地点必须在整个周期内清晰可得。要点见 开发难以模拟生产与缺失的模型版 CI/CD 与 偏斜的多义与训练-服务偏斜。
全周期心态、可解释性与训练监控清单
作者主张最该做的是为「在整个生命周期维持尽可能广而有用的模型行为图景」准备一个合理、灵活的方案,并按自身情境调整;可解释性在预生产与生产阶段都重要,生产里尤其出现在安全关键或社会影响重大、有法律或伦理诉求要理解「是什么导致这个结果」的场景。完整可解释性在生产中比开发更耗资源、更慢更贵,而人往往又最急迫地需要它:用于确定哪些特征该优先保障数据完整性、调查某条或某切片预测、回应业务方的解释要求。因代价高、业务方也未必有背景,有效做法常是先与他们谈清真正关心什么,很多时候无需深入建模细节(甚至可专门建监控方案)就能回应;但在排障时解释性不可替代,例如借贷申请因「申请日期=2 月 29 日」这一罕见取值被拒——该特征通常不在全局前十重要特征里,但若训练集里 2 月 29 日的少量申请后来都是坏风险,模型就可能重度依赖它拒贷。可借定期记录的预测摘要、LIME/SHAP 等代理模型或定制方案把驱动因素暴露出来,风险与合规团队也用得上,只是多数在生产中太贵。训练阶段从经典监控视角最易处理:保持整体视角,最重要指标是从开始训练到产出( hopefully 可用)模型要多久,其次是判断何时重训——回滚是解决生产问题最常见的手段,重训则相当于模型的「前滚」,用最新的一切替换生产中的东西,通常在回滚无效/不可行或前滚更省事时使用;但若重训跑在与旧模型完全相同的数据上,大致只会得到相同行为,或重训太慢以至于无法战术性止损(这也是有人干脆周期性自动重训的理由)。前者可换全新语料、替换坏数据、补缺失数据来「绕一下」。训练还是多数开发者建立基线的地方,此后被广泛用作比较点。见 全周期监控的心态转变 与 可解释性与监控的代价。
训练输入清单、模型验证与回退
为拿到基础覆盖,作者列出一长串具体检查(强制最小项以斜体标出,从那里起步),并提醒先算清成本收益再全上。输入数据:把训练数据集与上次训练或某个外生指标比大小,若 unexpectedly 缩水 50% 通常是坏信号;是否同时比对原始输入与特征数据(有些问题只在字段组合成特征时暴露);最老与最新的数据是否符合预期(可进一步看数据年龄分布直方图,分布式训练里有时只剩极少数很旧数据);基数与分布是否偏离上次或期望分布;批处理场景能否枚举并保证「昨天全部事件都到齐且字段完整」、有无前日或当日异常值;流式场景的到达速率、按「每束」还是固定大小触发处理(后者要跟踪触发频率);数据访问被中介时访问速率如何、是否有大量失败(尤其鉴权类);数据从别处拷进特征商店的拷贝是否正确。处理:多少作业在跑、上次何时跑、是否按时完成、重启率与成功完成率、未处理单元积压及其年龄分布、处理速率的 50/90/99 分位(特别留意长跑分片)、与上次迭代如何比较以及如何用周对周剔除季节性;生产该模型总共消耗了多少 CPU/内存/IO(判断加资源是否真能变快)。整体视角:从汇集输入到产出模型的绝对与相对时长、输出模型大小、多文件时是否齐全、能否成功加载并做简单预测、独立环境测试是否通过、进入生产开始服务查询要多久、生产测试是否通过用户曝光、新模型是否意外影响了业务指标、从拿到模型到投产的最大贡献是人工还是自动。模型验证阶段要判断业务影响(利润/损失曲线、混淆矩阵、对照基线是否改善某指标),并比较两个模型:可在沙箱里并行或串行跑,也可在生产里给新模型 1%–5% 真实流量做金丝雀(还能提前暴露模型对真实流量的反应,与 A/B 测试重叠,但要求基础设施支持按版本切流);混合做法是把同一份数据既送本地模型又送生产模型(本地只吃测试流量),用来暴露建模与服务间特征代码、配置差异;还可把生产流量送进模型但不把结果给用户,即影子(shadowing),在服务路径上测试多数组件而不冒用户风险。见 训练输入数据的具体检查清单 与 模型验证:沙箱、金丝雀与影子。
回退陷阱、CI/CD 呼吁与服务监控三要素
无论何种理由都应有回退计划:新模型失败、发布失败、甚至旧模型在某子集上出现怪异行为。两条主路是回退到旧版本(意味着要保留并正确版本化旧模型二进制、还要监控生产里实际运行的版本,因为在停产时压训练基础设施用旧数据重建模型通常是最糟选择),以及回退到更简单算法甚至硬编码(如推荐坏了就展示站内最热门的 10 件商品,虽对谁都不算准,但多数情况下也不会太离谱)。回滚要极小心:schema、格式或语义变化(关键数据库/数据源/特征商店格式在版本间改变)容易被忽略,可能使回退不重建整条依赖就不可行,也可能因未彻底理解错误而难以前滚,此时算法回退能救命;但算法回退自身也会因类别错误失败——即便 schema 未变,不同版本对特征的变换也可能不同(打车接客地点缺失,一版默认到「上次见到乘客处」,另一版取最近保存的常用地点如家/公司),若系统一侧回退到旧变换、另一侧仍用新变换就更糟。作者随后发出行动呼吁:业界还没有 IaC 社区那种普及的 CI/CD 工作流可用于模型开发,各公司甚至同公司不同团队做法各异,现实仍靠代码与数据的人工同行评审、以及需要统计学博士的详细验证,摩擦很大;应推动尽量自动化,哪怕做到「人工验证之后的一切都把训练产物安全自动地送到生产」也是显著进步。常用数值 KPI 有准确率、精确率、召回率、PR 曲线、log loss、ROC/AUC 等,理解这些并看清输出分布形状,就对模型状况有很好把握。服务监控先问:该测哪些指标(随意堆指标会让信噪比恶化)、模型是否如预期表现、若不然为何以及如何解决。要选好指标得先理解模型如何失败——让模型成功需要模型、数据、服务三个组件同时正常:做出预测的模型;流入流出的、包含所用特征与预测本身的数据;以及真正渲染模型的服务(部署与提供推理,广义基础设施)。任一失效都会冲击模型本要改善的业务 KPI,因此三层都要测。见 回退:旧版本、算法回退与 schema 陷阱 与 服务监控的模型-数据-服务三要素。
实际值四种情形、代理指标与切片排障
服务中测模型性能比服务前难得多,作者倾向沿用训练/验证时同样的指标以增加「测的是同一件事」的信心,但这要求能把预测与对应的观测现实(actuals)对上:打车 ETA 模型在验证时尽量压低 RMSE(顾客对「承诺过头、交付不足」比反向更恼火),生产里要有流程把预测 ETA 与实际 ETA 对账算误差。实际值如何到达分四种情形。情形一实时实际值:部署后很快拿回可行动的性能信息,是理想场景,最著名的是数字广告(预测用户最可能点哪个广告,几乎立刻知道是否点击),外卖送达也类似且业务自带时限;有了这种短反馈回路,把潜在真值连回预测事件后,无论真值来得多晚都能算并跟踪模型性能指标,按固定节奏跟踪即可确认性能未相对训练时或刚上线时严重退化。情形二延迟实际值:商业里 arguably 更常见也更棘手,如预测桥梁坍塌、房地产走势,周期以年甚至十年计;信用卡欺诈判定可能要等数天到数月的挂失报告或拒付争议,若客户没发现甚至永不到来。拿不到强实时信号时可转向代理指标——与想近似的真值相关、但特意挑「到得更快」的替代信号:桥梁看检查结果、维护计划、是否位于易涝区与桥龄;房价看尽量只改一个分量的相似房源(同卧室/卫浴数不同区域,或同区域不同卧室数)。杂乱的复合代理也好过没有,但别忘代理指标必须有统计显著性,且其相关性会随时间变化,需持续重评。情形三有偏实际值:并非所有真值等价,贷款场景里拒贷意味着永远不知道该申请人本能否还款,只有被批准的人才会产生可用于未来训练的结果,这种选择偏差会让其他偏差趁虚而入。情形四几乎没有实际值:需人工核验预测(如图像分类常需人在环抽样验证)、无法把响应归因到预测、或时间窗长到无法提示建模者检查性能,此时也常用代理指标与 A/B 比较产品指标,模型数据监控因此更重要。此外可用通用行为度量判断是否真的跑偏,首选是「无用响应」(空、不完整、劣质回退)占比相对「够用」响应的份额,另一个是老朋友数据分布。性能不达标时最常见成因是训练数据欠采样、漂移与数据完整性问题;最佳实践是别只看平均值,而要调查各个预测切片(如加州全体用户):欺诈模型假阴性从预期 % 突然跳到 2%,就去看是否集中在某地区或某商户,既能定位漏判也能告诉重训时该对哪些切片上采样。见 实际值到达:实时、延迟、有偏与几乎没有 与 代理指标与预测切片排障。
漂移、数据质量、服务性能与总体策略
数据层监控输入与输出,随特征增删调整 schema,两种手段分工明确:漂移抓分布的缓慢变化,数据质量检查抓突发的硬失败。漂移即分布随时间变化——模型高度依赖训练数据,见到相似数据表现好、否则变差,超增长业务里数据不断演化,因此哪怕只用直方图式方法测各维度分布也至关重要;输入分布偏离称特征漂移/数据漂移,输出偏离既有基线称模型漂移/预测漂移,而即便模型确定、特征流水线未变、同样输入给同样结果,正确答案(actuals)分布变了也会让昨天的预测今天出错,即概念漂移。度量两分布距离常用:银行业与金融科技常用的 PSI(把单指标分桶,算各桶占比并比较占比之商的对数,可检桶内或桶间移动)、与之相似但不对称因而能察觉分布顺序交换的 KL 散度、以及计算「把一个分布搬成另一个所需工作量」的 Wasserstein 距离(推土机距离,桶间小幅溢出得分低于从一端跳到远端)。三者只是算力不同,本质都在量化两分布有多不同;实际值不可得时漂移常成为监控预测变化的主要手段,排查时先看哪些输入也漂了,把特征漂移与特征重要性结合找出更可能与变化相关的特征,进而决定哪些需从基线重采样或修数据质量。数据质量检查针对结构性硬故障:类别流(宠物种类之类有限集合里选一个值)可能出现基数突变(某年热门圣诞宠物变成驯鹿,模型于是只进猫粮)或返回不在合法类别里的值(数据流 bug、违反语义契约:期望字符串却来浮点数、期望小写州名却来大写 CA、第三方 schema 错位一位让特征互相拿了别人的值、以及普遍且棘手的缺失数据);生产里可抛非致命错误(否则会把偶发抖动的存储服务变成全机队死亡),也可用插补(取历史最常见类别或由现有值预测),但没有完美方案。数值流另有远离历史范围的异常值、类型不匹配(温度位来了类别值,被默认转成一个语义全失却看似合法的数,极难追查)、以及不改类型却改语义(总量计数器突然变成增量,可能长期不被发现);数值序列因有顺序与跨度,可用均值/中位数等聚合量插补(如毛线克重)。面对数十万维特征向量与必然频繁变动的 schema,最重要检查可归纳为:类别看基数、缺失值、类型、数据量;数值看越界、缺失值、类型、移动均值。服务层即便模型效果好、数据完整,单次预测要几分钟也上不了实时系统;应监控预测延迟并从模型级(减少层数/树深度/无用部分、架构上 BERT 比前馈慢、树模型比深度学习快,需在效果与运维约束间权衡,移动端尤甚)与服务级(输入特征查找:调用方传入、静态可预计算、实时按动态窗口计算三类混合,监控其查找与变换以定位延迟;以及把热门推荐等预计算好存进低延迟读库,用离线批量打分把重活提前做完)分别优化。其他关切:ML 的 SLO 不能只看模型,还应覆盖数据及分布/新鲜度,且请求-响应系统的「可用」在分类器置信度 0.0–1.0 时含义模糊,故 SLO 至少得包含质量或置信度阈值,而最好的落点其实不是 ML 系统性能、而是它要交付的业务目标;模型多或变更频繁时可由 SRE 提供自助式基础设施让 ML 工程师按模型/模型类(对照黄金数据集)定义并执行 SLO,且 ML 与业务纠缠,往往得连同相邻系统一起定 SLO,而 99.5% 以上这类严苛 SLO 靠人工流程守不住,必须自动系统与人协同(但在 ML 场景应谨慎)。跨服务还要做分布式追踪(给请求打标、沿途各系统开额外可见性,可参考 OpenTelemetry)、理解延迟分布(小比例慢请求也会显著影响体验,需请求采样,建议尽早启用),以及超大规模监控三件事:多监控实体间告警/数据去重、合理近似均分监控目标、以及「监控监控者」——去重或许最关键,否则一次严重故障会收到 N 倍的页。公平与隐私方面:已部署模型几乎必然有现实影响(谁获贷款、谁得工作),监控要提供对模型决策的可见性同时不提供不恰当的可见性;生产监控仪表盘默认展示喂给它的信息,若监控栈暴露 PII,即便看板访问者本无权访问生产数据也会看到,违反隐私预期甚至法律,建议在第一聚合点出口就把姓名地址等彻底匿名化并做彻底隐私评审,或按不同入口分级剥离(控制看板访问更省事但并非强控制点)。高层面策略:有近实时实际值就优先盯模型/KPI 性能;没有就得用包括基础设施在内的局部来源拼图;至少跟踪模型性能统计,并把模型当简单请求-响应服务看(无法出预测、置信度骤降、算法回退被异常频繁调用都要知道);持续算并展示 PSI/KL/Wasserstein 等输入分布度量;跟踪缺失数据、类型不匹配、语料规模;服务侧先用 SRE 四个黄金信号(延迟、流量、错误、饱和度)起步,追求 goodput——问题以合理速率到达并被正确且足够快地回答;告警要注意只对「该告警的」指标设好阈值,否则人会被几乎与客户体验无关的告警淹没。训练是批/流式而非请求响应,模型构建可能耗时数分钟到数天,不宜对每次波动告警,关键是 catch-up time:若构建约 20 小时、要求每 24 小时出新模型,跑到 8 小时停摆 4 小时后已耗 12 小时墙钟、按原速还需 12 小时完成,可能已经误期,因此维护「还要多久追上」并在 当前时间+追上时间 > 阈值 时告警很有价值。通用技巧还包括把预测(ID、值)记进易检索的表(担心速度可采样,但会失去保证的可解释性),最好留一列实际值便于回填对比,并让预测的消费方也记下预测 ID 形成可连接事件链;服务期可解释性的金标准是单次推理级解释(这笔交易为何被批准/拒绝),在借贷业常以 reason codes 传达给下游。要点见 漂移三类与分布距离度量 与 数据质量、SLO、黄金四信号与总体策略。
第10章 Continuous ML
本章把前面「训练一次、部署一次」的隐含模型推翻,转向持续 ML 系统:数据以流式或周期批次持续到达,触发训练出更新版本并推送到服务。作者先给出一句极重的判断——在 ML 里数据即代码,持续 ML 等于接受一股不断改变生产系统行为的新代码流;只有当持续更新带来的收益(能学习与适应世界新趋势、达成复杂业务与产品目标)超过成本时才值得做。全章因此围绕「把成本压到最低同时保住收益」展开,预告六条洞见:外部世界事件会影响系统;模型会通过反馈回路影响自己未来的训练数据;时间效应出现在多个尺度;危机响应必须实时;新发布需要分阶段放量且要有稳定基线;模型要被管理而不是被交付。随后按生产栈逐件剖析持续化后的变化(训练样本流、标签流与不可避免的拼接延迟、坏数据过滤、特征商店与采样偏置、SGD 增量更新与 checkpoint 推送),再逐条展开六条洞见与五种危机响应,最后落到组织:评估策略、投资决策、数据流水线治理、发布阶段审批、预谈判停机后果,并给出更广的建议——所有生产 ML 系统都应按持续 ML 系统的标准来对待,因为实际上没有任何生产模型只被训练一次。
持续 ML 的定义、代价与六条洞见
前面讨论有时把模型当作「训练然后部署、一次且仅一次」的东西,更深一层的看法是区分一次性训练的模型与以更连续方式训练的模型,后者即持续 ML 系统:典型系统会以流式或周期批次收到新数据,用它触发训练出模型更新版本,再推送到服务。从 MLOps 视角看,一次性训练与持续更新差别巨大——转向持续 ML 抬高了自动化验证的门槛,引入反馈回路与模型对外部世界变化的反应,管理连续数据流、应对模型失效与损坏、乃至「给模型加新特征训练」这种看似琐碎的事都会增加系统复杂度。表面上这像是个糟糕主意:如果记住「在 ML 里数据就是代码」,持续 ML 等于接受一股能改变生产系统行为的、源源不断的新代码流,而外部真实世界的变化本质上是事先不可知的,可能带来意外或不合意的行为;唯一值得做的情形是持续更新的收益超过成本,而很多情况下收益确实可观,因为能学习并适应世界中新出现的趋势的系统,可以达到帮助实现复杂业务与产品目标的整体质量水平。本章目的是考察成本在哪里累积、问题在哪里出现,并预告六条洞见:外部世界事件会影响系统、模型可能通过反馈回路影响自己未来的训练数据、时间效应出现在多个尺度、危机响应必须实时完成、新发布需要分阶段放量与稳定基线、模型必须被管理而非被交付。技术挑战之外还有组织机会与复杂性:持续改进的模型需要能管理持续改进的组织,要有产生并跟踪改进想法的框架、要能长期评估多个模型版本而非只盯「新模型替换旧模型」那一刻、要把建模看作有成本与风险但也有巨大潜在收益的长期价值创造项目。定义见 持续 ML 系统与一次性训练的分野,代价与门槛见 数据与代码:持续更新的收益与风险。
生产栈剖析:训练样本流与标签流
在细看影响之前,作者先沿典型 ML 生产栈走一遍,看持续设定相对非持续设定如何变化:高层次上,持续 ML 系统定期从世界以稳定数据流取数据、用它更新模型、经适当验证后把更新版本推出去服务新数据。训练样本不再是固定不变的不可变数据集,而是持续到来的流,例如「一组候选毛线商品中被推荐的商品」连同产生该推荐的查询;高容量应用里这股训练样本流可能像消防水龙头,每秒从全球各地区收集大量数据,需要相当的数据工程才能有效可靠地处理。训练标签同样以流的形式来自世界,而且其来源很可能与样本流本身不同:若用「用户是否购买了某毛线商品」作标签,查询时我们能记录展示给用户的商品并写日志,但购买行为在查询时不可知,必须等一段时间看用户是否决定购买,而这条信息可能来自整体服务基础设施中完全不同位置的购买处理系统;由人类专家提供标签时也会有延迟。于是把样本与正确标签拼接需要不可避免的延迟,且很可能要相当复杂的基础设施才能高效可靠地处理——作者强调这种拼接是生产关键的:试想标签信息因故障不可用、把未标注样本送去训练会造成多大麻烦。见 训练样本:从固定集到持续流 与 标签延迟与生产关键的样本标签拼接。
坏数据过滤、特征商店与采样偏置
只要允许模型直接从世界里的行为学习,就要承担「世界把一些我们不希望模型学的行为一并送来」的风险:垃圾信息发送者或骗子可能发出大量不购买的假查询,让某些商品显得比实际更不受欢迎;恶意行为者也可能反复在聊天窗口输入冒犯文本,试图让 yarnit.ai 那个乐于助人的 chatbot 学会粗鲁。这类攻击必须被检测并处理;不那么恶意但同样有害的坏数据也可能来自流水线故障或 bug。所有情形下都要在训练前把这类坏数据从流水线移除,而有效剔除垃圾或 corrupted 数据是难事:需要自动化异常检测方法,甚至需要以「检测坏数据」为主要用途的模型;试图不当影响模型的恶意方与试图检测并过滤的运维团队之间常出现某种军备竞赛,有效率的组织往往有专门团队只负责从持续 ML 流水线里过滤坏数据。特征与数据管理侧:生产系统把原始数据转成特征,既便于学习也更紧凑,许多系统用特征商店存放——本质是一个增强型数据库,管理输入流、知道如何把原始数据转特征、高效存储、支持跨项目共享、并同时支撑训练与服务。高容量应用常需从整体数据流做一定采样以降低存储与处理成本,且采样往往不均匀(例如保留全部稀有正例、只留一小部分极常见的负例),这就必须跟踪这些采样偏置并在训练中用适当权重补偿;此外即便特征化数据更紧凑更有用,几乎总还要保留一部分原始日志,既用于开发新特征,也用于测试与验证特征提取和变换代码路径的正确性。见 坏数据过滤与对抗性军备竞赛 与 特征商店、非均匀采样与原始日志。
增量更新与把 checkpoint 当作小型自动发布
持续 ML 系统里通常更倾向采用允许增量更新的训练方法。基于随机梯度下降(SGD)的训练方法无需修改即可用于持续设定(SGD 是多数深度学习训练平台的基础):做法基本是闭眼假定展示给模型的数据流是随机顺序来的;若数据流确实相对打散,这完全没问题,但真实数据流常带非随机的时间相关性,就得担心破坏这一假设在实践中伤害多大。最糟的非随机情形是上游批作业把全部正例排在一批、全部负例排在另一批,SGD 会惨败,必须加入中间打散把 SGD 放回更随机的地基。有些流水线强制「每个样本只训练一次、按其在流中出现的时序顺序」,这从基础设施和模型分析/可复现性看都简化很多,数据充足时没有实际缺点;但数据稀缺的应用可能需要多次访问单个样本才能收敛,就无法遵守。推送侧,多数持续设定里把模型的重大变更称为发布(launch)——架构变更、增删特征、改学习率等超参、以及其他需要在作为生产模型上线前完整重评性能的变更;而基于新到数据对内部权重的小改动称为更新(update)。随模型更新会周期性写出保存当前状态的 checkpoint,推到服务,同时也是灾难恢复的重要依据。关键洞见是:把新 checkpoint 推到服务其实是一次小型的自动模型发布,若每小时推四次就接近每天上百次小型自动发布;重大发布可能出的一切错这里都可能出——模型可能被 bug 或用坏数据训练而损坏,模型文件本身可能有写错误、硬件 bug 甚至宇宙射线造成的缺陷,深度模型最近一步可能「爆炸」使参数含 NaN 或遇到梯度消失而停止学习,自动化的 checkpoint/推送系统本身可能有 bug;若 checkpoint 与推送不自动化而靠人工,系统大概还没准备好以持续模式运行。作者澄清重点不是别更新模型(不基于新数据定期更新同样会出很多问题),而是 checkpoint 推送前的验证是关键步骤,典型做法是分阶段验证:先做不影响生产的离线测试(在沙箱加载 checkpoint、对黄金数据集打分,第 5 章的离线评估方法都适用),再把新 checkpoint 装进单个被仔细观察的金丝雀实例、让它服务极小流量,只要监控站得住就缓慢放量直到 100%。见 SGD 增量更新与数据顺序假设 与 checkpoint 即小型自动发布与分阶段验证。
外部世界事件与棕羊毛螺旋
看一个常用类或对象的 API(C++ 标准库 vector、Python 字典)时,文档里不会有「警告:世界杯期间行为未定义」这种字样——谢天谢地不需要。但持续 ML 系统恰恰应该有类似警告:生产中输入分布的任何变化都可能导致反复无常或不可预测的系统行为,因为多数 ML 模型的理论保证真的只在 IID 设定下成立。变化来源可能极其多样且出人意料:体育赛事、选举夜、自然灾害、夏令时、坏天气、好天气、交通事故、网络中断、大流行、新产品发布,都可能改变数据流进而改变系统行为,而且我们往往几乎没有预警(第 9 章的监控策略有助于想清需要什么即时告警)。作者用 yarnit.ai 演示后果:某重要政治人物在严寒天戴着手工编织的棕色羊毛连指手套上了全国电视,「棕色羊毛」的搜索与购买骤增;延迟片刻后模型在这批新数据上更新,学会给棕羊毛商品打很高分,而 SGD 使其过度自信、分数极高,于是这些商品几乎展示给所有用户并迅速售罄。售罄后再无购买,但几乎所有搜索仍因高分展示棕羊毛商品;下一批数据显示没有用户购买任何商品,模型过度补偿,又因棕羊毛产品曾在极广的查询与用户上被展示,模型学会给几乎所有商品打低分,导致所有查询无结果或只有垃圾结果——这又强化「没人买任何东西」的趋势,系统螺旋下滑,直到 MLOps 团队定位问题、把模型回滚到此前表现良好的版本、并从训练数据存储中过滤掉异常数据后重新启用训练。这个例子可在多层设修复与监控,却说明了系统动态会带来难以事先预见的后果。一个微妙的危险是:知道各种世界事件都能引起意外行为后,我们可能过快地「解释掉」观测指标或监控的变化——知道今天阿根廷对巴西有重要比赛,就假定这是系统不稳定的根因,从而漏掉排查流水线错误或其他系统 bug。要完全鲁棒于分布漂移,理论上需自适应地给训练数据加权使分布不依赖世界变化:可建倾向性打分模型估计某样本在某时刻出现在训练数据里的可能性,再用其倒数加权让稀有样本权重更大;分数要更新得足够快(世界事件使某些样本突然更常见时及时降权)、所有样本分数必须非零以免除零、还要避免分数过小使少数样本权重爆炸。可给权重封顶,但那会引入偏差;也可广泛随机化保证任何样本被纳入的概率不会太低,代价是把用户暴露给随机或无关数据、或让模型建议不合适的随机动作。总之理论上可行、实践上极难,现实是更可能得学会管理分布漂移带来的不稳定,而非彻底解决它。见 IID 警告与外部事件的不可预知性 与 棕羊毛事件:反馈螺旋与过度解释风险。
反馈回路:模型影响自己的训练数据
持续 ML 系统最要紧的问题之一是:模型与它的训练数据之间是否存在反馈回路。所有训练过的模型都受流入的训练数据影响,但有些模型反过来也影响被采集的数据。有些系统对用于重训的数据流毫无影响,天气预报模型是好例子——不管气象站希望我们相信什么,预测明天风和日丽并不会真的影响大气条件;这类系统「干净」在无反馈回路,我们改模型时不用担心会改变明天下雨的真实概率。另一些模型确实影响自身训练数据的采集,尤其是那些向用户做推荐、或决定会影响「接下来能学到什么」的动作的模型,于是形成隐式反馈回路,而听过麦克风尖啸的人都知道反馈回路会制造意外且有害的效果。最简单的情形是:依赖反馈回路学习新趋势的系统,若压根没有「先试一件新东西」的机制,可能完全错过新趋势——可联想哄孩子第一次尝试新食物的经验。具体些:推荐毛线商品的模型,会拿用户对被选中展示商品的反应(点击、页面浏览、购买)来训练,于是它只收到关于被展示商品的反馈,收不到关于未被选中商品的反馈(技术上属上下文老虎机设定,有探索与利用的权衡)。可以想象一款新的有机羊驼毛线颜色用户其实很想买,但模型没有既往数据,于是继续推荐此前非有机的产品并对自己的遗漏浑然不觉。发现不了新东西已经不好,更糟的行为也可能发生:股票预测模型若观察到外部实体误发一笔大额卖出,可能预测市场将跌而主张卖出大部分持仓;若卖出足够大就会真的压低市场,使模型更激进地想卖,而完全不相关组织里的其他模型可能看到同一市场信号也决定卖出,形成强化回路乃至整体闪崩(这一极端情形确实发生过,见 Flash Crash)。不必身处多模型竞争的大市场也会遇到:yarnit.ai 里若一个模型负责推荐商品、另一个负责决定何时给折扣或优惠券,而推荐模型把购买行为用作训练信号、折扣又影响购买行为,两个模型之间就有反馈回路,改一个会影响另一个。反馈回路是分布漂移的另一种形式,前面倾向性加权方法可有帮助但很难完全做对;把模型版本信息连同其他训练数据记录、并把版本作为特征喂给模型,能一定程度减弱影响——至少让模型有机会分辨观测数据的突变究竟来自真实世界(假期结束、一月初没人想买毛线)还是来自模型自身学到的状态变化。见 有无反馈回路:天气模型与推荐模型 与 只收到被选中商品的反馈与探索缺失。
多尺度时间效应与实时危机响应
我们创建持续 ML 系统正是因为关心数据随时间变化的方式。有些变化对产品需求意义深远,如新型合成毛线出现、适合家用的自动编织机问世,尽快把这类新兴趋势的数据纳入对 yarnit.ai 很重要。另一些时间效应是周期性的,至少三个主要尺度:季节性——电商在冬季假期临近时购买行为剧变并激增、一月初又骤降,暖月与冷月趋势差异大且按地域乃至南北半球显著不同,最有效的处理是确保模型训练过不止一整年的历史数据(若有幸拥有)并把一年中的时点作为特征信号;每周——按星期几循环,业余爱好者板块周末用量可能显著更多、面向 B2B 销售的板块反而更少,且周末按国家不同、时区效应也强(东京已周一而旧金山仍是周日);每日——按一天中的时段,午夜与清晨或工作时段数据不同、时区同样关键,微妙之处在于多数持续 ML 系统实际运行在「落后于现实」的状态:流水线与数据流等标签(点击或购买行为用户要想一阵)、过滤坏数据、更新模型、验证 checkpoint、推送并完全放量,这些延迟加起来可达 6 甚至 12 小时,于是模型可能与现实严重不同相——服务的版本「以为」是半夜,实际正是工作日核心时段。好消息是修起来相对容易:把时点信息连同其他训练信号记录并作为模型输入即可;但它凸显了「服务中恰好加载的那个模型版本可能对它此刻要面对的现实已经过时或被误导」这一重要性。危机响应侧:持续 ML 系统虽价值巨大,却有广泛系统级脆弱性,可以说继承了大型复杂软件系统的全部生产脆弱性,又额外加了一整套能产生未定义或不可靠行为的问题,多数设定里不能依赖理论保证或正确性证明。这类问题出现时不仅要修、还要实时修(或缓解),理由有三:模型很可能任务关键,影响有用预测的生产火灾会逐分钟冲击组织;模型可能与自己形成反馈回路,不快速处理则输入数据流也会被污染、之后还得费心修复;模型可能属于难以重置到已知状态的更大生态(与其他模型互相反馈,或糟糕预测造成难以撤销的持久伤害,如本来乐于助人的 chatbot 突然对用户口出恶言)。实时危机响应首先要能快速发现问题,因此从组织角度判断「我们是否准备好做持续 ML」的一块试金石,就是监控与告警策略的完备性与及时性。由于流水线延迟与系统在新数据上渐进学习的慢变化,数据缺陷的完整下游危害可能要一段时间才显现,这让「用简单金丝雀指标对输入分布变化告警、而不是等模型输出变化」格外重要;而这些监控或变更策略只有在有人有责任在告警触发时响应,才谈得上实时有效。运转良好的 MLOps 组织会为「告警必须多快被响应」定明确 SLA,并用值班轮转等机制确保对的人在对的时间看到告警(若有跨时区全球团队,能大幅避免凌晨三点把人叫醒);收到告警后还要有「任何 MLOps 成员都能执行」的、文档齐备的响应手册,以及进一步行动的升级路径。见 流水线滞后与模型落后于现实 与 实时危机响应的监测前提。
五种危机响应、分阶段发布与稳定基线
作者给出持续 ML 系统面对任何危机的一组基本即时响应:停止训练、回退、回滚、移除坏数据、穿过(roll through),并非每次都要全做,选哪种取决于问题严重度与诊断/治愈根因的速度。停止训练对应「挖洞第一法则:发现自己在洞里就别再挖」——发现数据流被坏模型、故障或代码 bug 污染时,停下模型训练、停止向服务推新版本是有用的短期响应,至少保证在想出缓解或修复前问题不恶化;应让 MLOps 对任一自己负责的模型都能便捷停训,自动化有帮助但必须充分告警,否则会三周后才发现某模型早已悄悄停训,最好有个手动「大红按钮」。回退(fall back)指备一个能提供可接受(哪怕非最优)结果的替代生产模型的策略:可以是更简单的非持续训练模型、最常见响应的查找表、甚至一个对所有查询返回中位数预测的小函数;关键是系统「着火」时有个超可靠临时替代,不让整体产品彻底不可用——它通常在整体性能上不如主模型(否则根本不必用 ML),所以明确是短期响应。回滚(roll back)指把系统恢复到危机前状态看是否恢复正常,根因无非坏代码或坏数据:若判定是最近引入的坏代码,把生产二进制回滚到已知良好版本或可短期修复(任何回滚都要分阶段放量,以防新兼容性问题使旧二进制已不可用,并应常备一批完整编译好的旧二进制);若判定是被坏数据训练坏了,就把模型版本回滚到此前已知良好的版本(也就需要常备训练好的生产模型 checkpoint 供选择),例如黑色星期五购买请求激增使欺诈检测把所有购买判为无效、让模型以为所有商品都极不可能被购买,回滚到黑色星期五一周期前的 checkpoint 至少能先服务合理预测。移除坏数据:系统里有坏数据就要有便捷的清除手段,否则回滚后的模型随时间前向训练时还会再次遇到并被污染;当认为数据本身极不具代表性、不会给模型有用新信息,且根因是暂时的(外部世界事件或可快速修的系统 bug)时,这招很有用。穿过(roll through):停训之后总得重新启用训练,通常在坏数据已移除、bug 已处理之后;但若危机由外部世界事件引起,有时最好的响应就是让模型在这批非典型数据上训练、待事件结束后自行恢复——毕竟这世界几乎没有哪天不存在某处的政治事件、重大赛事或灾难,让模型对不同全球区域的这类非典型数据有足够暴露,恰是保证总体鲁棒性的重要方式。选择哪种响应,需要观察模型对相似历史事件的反应(最容易的做法是按时间顺序在历史数据上训练模型),还要判断当前危机指标究竟来自坏模型还是世界的非典型状态,即「模型坏了,还是它此刻被要求处理难得多的请求」;一个判据是频繁周期性重算黄金数据集上的离线指标——若模型确实损坏,黄金集结果会明显下降,此时「穿过」多半不对。组织上,危机正在发生时不是学新技能、理清团队角色、决定如何实现各种响应策略的好时机;现实中的消防员会定期一起训练、打磨最佳实践、确保响应所需基础设施随时可用,同理我们虽不知道持续 ML 系统何时需要危机响应,却能肯定它一定会发生,必须预先准备——建立有效危机响应团队本身就是创建与维护持续 ML 系统成本的一部分。新发布侧:模型跑一段时间后终会想发布改进版(更大模型换质量、新特征改善预测、更高效架构降服务成本),而因离线测试与验证的局限,发布总带不确定性,尤其当模型处在反馈回路里——既往训练数据多半由旧版本模型挑选,离线评估被局限在「基于旧模型动作或推荐采集到的数据」上。作者用驾校学员比喻:先坐副驾驶对教练的操作发表意见,即便 100% 认同,也不代表第一次自己握方向盘不会做糟糕决定。因此新模型发布需要把生产测试作为最终验证形式,给新模型「坐上驾驶位证明自己有能力」的机会,但不是直接把钥匙一交就指望完美,而是通常用分阶段放量:先只让它服务总体数据的一小部分,只有随时间观察到良好表现才逐步增加,即常说的 A/B 测试——把新模型 A 与旧模型 B 以类似受控科学实验的形式比较,验证新模型在最终业务指标(可能与准确率等离线指标不同)上有应有表现。问题在于:科学实验里 A 与 B 独立互不影响(测试棉毛衣 A 与天然羊毛衣 B 谁更保暖,穿羊毛的人不太可能让穿棉的觉得更暖或更冷,除非暖和高兴到去给对方煮茶热汤,那就会毁了实验),而持续 ML 的 A/B 在反馈回路里可能彼此影响:新模型 A 很擅长推荐有机羊毛商品,A/B 初期显示 A 明显更好,但 A 产生的训练数据含大量有机羊毛推荐与购买,持续更新中的 B 也会学到这些商品受喜欢而开始推荐,两模型随时间看起来趋同;若效应更弥散,就难说清 A 的优势消失是因为它本不比 B 好、还是 B 自己也变好了。可尝试限制 A 与 B 各只用自己服务的数据训练,但只在双方服务量相同(各 50%)时好用,否则 A 早期表现差究竟是模型差还是只有 1% 训练数据而 B 有 99% 就说不清。另一策略是造一个稳定基线作参照,好判断 A 与 B 的比较变化是 A 变差、B 变好、还是两者一起剧烈变差:稳定基线是不受 A 或 B 影响、被允许服务一定流量的模型 C,用其结果作比较,基本思路是看 (A−C) 对 (B−C) 而非直接 A 对 B,让变化更清晰。四类稳定基线各有利弊:把不涉及持续重训的回退策略当基线(若其质量不比主模型差太多则好用,差距太大时统计噪声会淹没 A/B 比较);停训器(复制生产模型 B 并停止其训练,按定义就不受 A 或 B 未来行为影响,让它服务小流量即可得到有用的 C,代价是整体性能会随时间缓慢退化,宜先做独立实验观察退化幅度);延迟训练器(若发布流程预计两周,就跑一个持续更新但延迟两周的生产模型副本,相对不太会退化,缺点是运行到与延迟相等时长后开始受 A、B 影响而失效——两周延迟模型两周后就没用了);平行宇宙模型(严格独立于 A、B 且无保质期:只服务总体数据的一小部分、且只从自己服务的数据学习,A 与 B 不在这份数据上训练,从而保持数据宇宙完全分离),之所以有用是因为「把 B 放进生产」这件事本身可能改变整体生态(可设想推高或压低市场的股票预测模型),此时 A 与 B 可能都大幅上移或下移中位预测而 A−B 看起来很小且稳定,有了第三个点 C 才能判断模型间变化是 A、B 自身差异还是更广泛影响;平行宇宙模型因训练数据受限与整体分布漂移,建立后常需一段时间才稳定,之后能提供有用的独立评估点(仍受比较评估指标时统计噪声的限制)。见 五种基本即时响应与策略选择 与 A/B 的相互污染与四类稳定基线。
管理而非交付、持续型组织与推广到所有 ML 系统
总体上模型发布需要格外小心,因为那时系统最脆弱:若 A 与 B 各服务约一半流量,就把潜在错误来源与应急工作量都翻了一倍;与危机响应一样,发布最好依赖沟通充分、演练成熟的过程。有些产品像砖墙:要大量规划与努力才做对,一旦完成基本就完事,默认状态是「它就在那儿正常工作」,只需偶尔维护;持续 ML 系统在另一端,需要每日关照,出现的问题可能难以完整或永久解决(例如「更好地向温暖气候用户推荐毛线商品」很可能需要多种手段,而其效用又随口味与时尚逐季逐年变化)。因此持续 ML 系统是需要常规管理的对象:有效管理需要每天能读到报告模型预测性能的指标,靠仪表盘与配套工具让模型管理者看清今天如何、趋势可能怎么变、问题可能在哪冒头;任何仪表盘的效用上限取决于被投入的注意力,所以要有明确的负责人常花时间陪它——有用的比喻是「每天和模型喝杯咖啡」,借仪表盘熟悉它当天的状态;正如人员管理者提供定期绩效评估,模型负责人也应定期向上级报告模型性能以共享知识与可见性。学到关于模型的有用东西时,强最佳实践是写成短篇记录(几段文字配一张仪表盘截图等佐证),并附一小段「这说明模型行为有什么含义」的摘要,能帮助沉淀组织知识,历来既指导未来模型开发、也帮助理解与调试危机中出现的意外行为。遇到危机时组织上要尽可能榨取学习,写详细的事后复盘文档:发生了什么、如何诊断、损害多大、用了哪些缓解策略及其成效、以及降低复发或让未来响应更有效的改进建议;这既短期帮助定位修复,长期也是可被反复查阅的组织知识与经验库。持续型组织侧:接手持续 ML 系统就是承诺一份长期责任,像小狗一样需要每日关注、照料、喂养与训练,要配不少组织结构才能做好。确定评估策略是领导层的关键职责——它让我们既能按长期业务目标也能按短期决策(例如是否纳入某特征)评估模型健康与质量;如第 9 章所述,把这件事简化成「定几个指标」很诱人,但收入、点击、精确率、召回率甚至延迟这类指标若没有参照点、基线或分布就毫无意义,而持续 ML 的决策常需反事实推理、想清反馈回路影响、或与噪声和不确定性搏斗,可用清晰定义并文档化的评估标准与流程来降低难度。投资决策同样难:该投多少算力做更大更强的模型、相对机会成本能否靠产品结果回本,如何在模型质量改进与 ML 系统级可靠性之间取舍,如何把有限专家的时间精力导向最有益于整体使命之处——根本难点在于组织不同部分可能有不同甚至不相容的优先级。两条主策略:一是要有范围与背景足以权衡「改进模型监控与危机响应」与「提高模型准确率」等不同需求的组织领导,把各部分教训在整个组织内充分沟通(定期分享事后复盘,以及主动做「事前验尸」讨论识别潜在弱点与失效模式,是让不同部门理解彼此挑战与痛点的好办法);二是投资基础设施,确保告警和其他警告能在完整的生产者与消费者链条上良好传播,这需要认真的组织承诺,但长期能减少复杂系统里人工核验的负担。组织上还要认识到:持续 ML 系统靠稳定流入的数据决定系统行为,意味着数据流水线本身需要严肃、专门的监督与管理;除确保数据在流动、流水线运行良好外,采集哪些数据、存多久、数据流水线如何与上游生产者和下游消费者交互,都是领导层要处理的关键战略问题,而隐私、伦理、数据包容性与公平这些更深的问题也必须在整体组织战略里占位置。发布流程需要分阶段放量,领导层的关键角色是审查每一阶段结果、批准进入下一阶段(或判定尚未准备好、甚至在情况不如预期时降量),这些决定需要高层监督,因为后果可能波及甚远,且在反馈回路或系统间复杂交互点会牵涉多个生产者/消费者系统;评估各发布阶段更广泛影响、确保稳定后再推进的过程,必须充分建立并被严格遵循,组织才能长期有效。事故发生时也要有有效响应流程:持续 ML 系统有一个优势和一个劣势——优势是几乎总有一个略旧些的当前模型版本可在服务中回滚,便于在查看问题时快速缓解灾难性错误;劣势是整个系统不断演化,难以隔离根因或破坏性变更,模型的变更可能是被系统中其他并发变更(新增数据、使用该模型的新集成)所推动或要求,排障因此难得多(具体例子见第 11 章)。组织最重要的准备工作是预先谈妥停机后果与处理方式:不只是提前定好谁担什么角色(这也要做)——ML 生产工程师不该在事故中途才判断某事件的紧急度,模型开发者也不该在停机进行中才猜成本与后果;每个人都应事先清楚自己的角色、权限与把决策升级给别人的路径。可能的话整个组织还应就一些总体可靠性标准达成一致,例如「本模型即使基于不超过约 1 小时的数据更好,但最多 12 小时旧也不至于有严重后果」「若质量指标差于某已知阈值,批准的回退是回滚到旧模型」「若再差于另一个预先确定的阈值,叫醒以下业务负责人是合适的」等等;核心是预先确定各类停机的参数,让事故响应者有最大行动能力与最小决策延迟。许多组织要经历过几次停机才肯提前把这些决定谈妥,但之后预先决定「真遇上糟糕 ML 问题该怎么办」就变得相当合理。最后作者给出更广的建议:所有生产 ML 系统都应按持续 ML 系统对待,把每个作为生产系统关键部分的模型都想成在被持续训练,哪怕它并非真的每分钟、每小时甚至每天每周更新。理由是把持续系统的标准与最佳实践应用到所有生产级 ML 系统,就能确保技术基础设施、模型开发与 MLOps/危机响应团队都准备好迎接挑战;这可能看似对「只训练一次」的模型是浪费,但现实里没有任何生产模型只被训练一次——经验中每个生产级 ML 模型终将被重训或发布新版本(几个月后、明年,随着新数据可得或新模型被开发出来),若以每几周或几月临时、不规则的方式进行,很可能导致故障与疏漏。强烈建议 effective MLOps 团队确保模型按固定节奏(每日、每周或每月)更新,让验证流程与检查清单成为组织文化的一部分;从这个角度看,持续 ML 系统的建议适用于每一个 ML 系统。结尾重申:持续 ML 系统带来的益处显著——模型能随时间适应新数据、能与用户、市场、环境和世界响应式互动;但任何既有高影响力又易被影响的系统都需要大量监督,而这种监督的要求远远超出任何个人(无论多能干)所能承担,不能留给直觉或临场发挥。管理持续 ML 系统的组织必须把它当作持续的高优先级使命:发布或重大更新时格外小心,也要有持续监控与应急预案以便对突发的危机快速响应。见 每天和模型喝杯咖啡:管理而非交付 与 所有生产 ML 系统都应视作持续系统。
第11章 Incident Response
本章把视角从「如何避免故障」转到「故障真的发生且很紧急时怎么应对」。作者先立论:ML 系统最要紧的属性是它与真实世界状况、用户行为之间的强耦合,因此排障往往牵动财务、供应链、公关、法务等远不止工程的部门,而且隐私与伦理不能等系统恢复后再补。随后给出通用的事件管理骨架——识别事件所处状态、明确角色、记录后续信息,以及从前置条件、触发、检测、排障、缓解、恢复到复盘的生命周期,还有源自 FEMA 的最小角色集。三个基于真实经历改写的 YarnIt 故事分别展示:训练管线静默停摆导致模型陈旧、数据键变更导致抽取数据无法合并、天气与供应商变化让模型面对一个已经改变的世界。最后按模型开发者、软件工程师、ML SRE、业务负责人四类角色给出准备与处置原则,并以「有伦理的 on-call 工程师宣言」收束。读时请始终带着一个问题:这次到底算不算故障,它的起点和终点在哪里?
为什么 ML 事件响应不一样,以及事件管理的三块基石
磁盘损坏、文件被改、网络中断、模型不再准确,甚至世界本身变了——本书大部分篇幅在讲如何避免或及时识别这些情况,而本章讲的是「坏且急的事已经发生」时如何响应。作者强调 ML 系统与非 ML 生产系统最关键的区别,是它与真实世界和用户行为强绑定,于是系统、世界、被建模的行为三者之间一旦脱节,就会出现反直觉的效应,排障需要动员的组织范围远大于工程团队,还可能涉及财务、供应商、公关与法务;同时隐私与伦理从一开始就必须在场,不能先修系统再补。通用的事件管理有三块基石:知道事件当前处于什么状态、把角色确立下来、把信息记录下来供后续跟进。许多事件之所以被拖长,正是因为没人说得清状态和谁负责哪一块,最终变成最糟的「无人管理的事件」。对应卡片见 ML 事件与普通事故的本质差异 与 事件管理三要素。
事件的生命周期与最小角色集
事件有清晰可辨的存在阶段:前置条件(架构与结构性决策埋下的条件)、触发、故障开始、检测、排障、缓解(最快且风险最低地止住最坏影响,轻到贴公告、重到整体停用服务)、解决,以及复盘与跟进。作者提醒,正式化管理有成本,不是每条日志告警都值得开两小时会议,优秀 on-call 需要判断「什么时候该宣布进入事件」并提前把标准写清楚。角色方面借用美国 FEMA 国家事件管理体系,最小可行集合是:事件指挥官(高层把握全局并分派、监督其他角色)、沟通负责人(对内对外信息收发,含状态文档与客服答疑)、运维负责人(批准、排期并记录所有与故障相关的生产变更,包括暂停同一系统上原定的无关变更)、规划负责人(记录不该丢但不影响当下恢复的长线事项、留存日志、安排复盘)。这些角色不因是否 ML 事件而改变,也不要求一人一岗,但必须提前把组织容量、培训与余量规划好。见 事件八阶段 与 FEMA 四角色。
ML 特有差异与模型术语提醒
在不变的角色骨架之上,ML 事件有三处显著不同。其一是检测:ML 系统比非 ML 系统更不确定,很难写出能先于人工用户发现全部故障的监控规则;模型质量变化常常是唯一能暴露底层基础设施问题的端到端信号。其二是参与排障与恢复的人员范围更广,通常会把业务/产品与管理层卷进来,因为 ML 系统被多个复杂系统供养、又影响多个系统,利益相关者天然分散。其三是时间线与恢复边界模糊:质量指标本身就随时间波动,精确界定故障起止很难,甚至分不清「修好了」与「模型又变好了」。为此作者重提第 3 章的三级术语——模型架构(学习的总体方法)、模型或配置好的模型(某个模型的具体配置、学习环境以及训练数据结构)、训练好的模型(某一配置在某时刻、某份数据上训练出的具体实例);排障时往往要先弄清究竟是哪一层变了。见 检测更难与组织范围更广 与 模型三级术语。
故事一(上):搜索排序模型的静默陈旧
YarnIt 主要模型之一是搜索排序:先按关键词粗筛商品库,再用模型预测排序。工程师 Ariel 补做监控时发现「用户点击搜索结果前五条链接」的比率,从 12 周到 3 周前一直稳定在约 62%,3 周前开始下滑,本周只剩 54% 且仍在跌;复核确认数据无误后宣布进入事件,同时通知搜索模型团队、零售团队排查网站渲染变更。关键线索来自 golden set:团队每天用一组固定查询测试新模型,正常情况下结果会因每日重训而略有波动,但过去三周结果「稳定得可疑」。线上模型确实是三周前的版本,训练系统已超过三周没有跑完一次训练。这个故事说明,未被良好埋点的 ML 系统常把系统问题只表现为质量缓慢劣化,用户侧指标往往是最先也是唯一能察觉的端到端信号。见 搜索排序场景与检测 与 每日重训与 golden set 异常稳定。
故事一(下):日志馈送进程 OOM 与复盘监控清单
顺着训练系统往下查,Ariel 发现所有读取搜索日志的进程都在等待日志返回;再往里看,负责读取原始客户日志的 10 个 log feeder 进程每隔几分钟就因内存耗尽崩溃退出,重启后读几字节又崩,如此循环了三周——这就是模型停更的近因。把 feeder 从 10 个加到 20 个分摊负载(必要时再调内存)后崩溃停止,几小时后训练完成、新模型上线,点击率回到应有水平,故障解决。作者特别点出:此时只有近因、没有简单缓解手段,因为没有新的训练模型就无法改善质量;而缓解与解决常常同时发生。复盘产出的监控清单很有代表性:监控线上模型年龄(挂钟年龄或数据年龄)并设阈值告警;按「48 小时内必须更新」倒推,把时间预算分配给日志处理、训练、评估、拷贝各环节;监控 golden set 既不能长期不变也不能突变;监控训练速率;以及最重要的一条——按小时可用的前五条点击率。见 日志馈送进程 OOM 与 复盘监控清单。
故事二:合作伙伴数据隔离与合并失败
YarnIt 的市场业务要为第三方伙伴做商品推荐,但每个伙伴都要求自己的数据与其他伙伴严格隔离,否则不许上架。这迫使系统按「数千个极小模型」而非「几个大模型」来设计:每天把前一日增量抽到各伙伴独立目录或小特征库,共享部分仍走公共特征库,训练前再分离增量。工程师 Sam 为某伙伴准备商务会议材料时发现,ML 训练数据里该伙伴近期转化为零,而财务系统显示每天都有成交;这条线索最初只被当作普通数据差异记了个 bug,没人评估影响面,事件长期处于无人管理的混乱状态,直到伙伴在会上说销量周环比跌 40%。根因是两周前数据管理团队为方便其他分析项目改了日志里的唯一伙伴键,新键与历史标识不同,导致新抽取数据一行都合并不进去。作者由此总结:ML 系统最常见的失效来自数据与元数据问题,触发器常藏在离症状很远的地方,显式的数据 schema 版本化与变更通知能显著减少这类故障。见 伙伴数据隔离与小模型架构 与 伙伴键变更导致合并失败。
回滚旧模型:缓解不等于解决,且 ML 缓解有天然上限
故事二里,训练日志显示各伙伴模型每天都在成功训练、二进制与特征都没变,但所有伙伴商品的预测值持续下滑。团队为快速止血,把全部伙伴模型回滚到两周前的版本:旧模型不含新商品与新偏好,但对存量商品的推荐行为是可预期的,因此在影响面很大时值得冒险;随后用单个伙伴重抽数据、重训验证端到端恢复,再花约 72 小时全量重抽重训,期间继续用旧模型服务。作者借这个案例讲透 ML 缓解的固有局限:普通服务常能回滚软件版本等修复,ML 系统却不能恢复「世界过去的快照」,因为模型的工作正是让系统适应世界;而快速重训又往往需要超出常态的算力,因此很多 ML 故障不存在零成本的快速缓解,选哪种缓解最终要由最懂伙伴、用户与业务的产品/业务负责人拍板。这也解释了为何 ML 事件更频繁地升级到业务决策层。见 回滚旧模型作为缓解 与 无法恢复世界快照。
故事三:世界变了,以及排障中的隐私红线
第三个故事里财务先报收入月环比降 3%、细查后近一周相对四周前降约 15%,客服则连续几周收到「推荐很怪」的模糊反馈;模型、二进制、特征 schema 全都没变。把查询分词统计、按商品品类归类后对比四周前后,发现用户明显转向轻薄毛线、背心花样与细针——北半球异常提前变热,同时几家重要供应商(尤其是主供轻量纱线的 KnitPicking)断供,候选推荐因缺货被大量过滤,而推荐阈值与期望价值自适应又滞后,于是「展示条数下降、价值先偏离再收敛」。团队最终认定这更像供应链问题而非模型故障,除了修供给几乎没有可行的模型侧缓解,只能把结论交给零售与财务负责人。作者同时用 Imani 直接抓取十万条真实查询与页面浏览做 QA 的例子划出隐私红线:查询里可能含 IP 等个人信息,把同一用户的查询关联起来还会泄露更多,这类排查必须先咨询隐私与数据保护专业人员,最好根本不保留无监控的直连访问。见 天气与断供改变需求 与 排障中的隐私红线。
三条指导原则、按角色的准备,与全章结论
把三个故事抽象出来,作者给出三条贯穿性原则:其一,面向公众的 ML 故障常常最先被终端用户、或管线最末端的 serving/集成层发现,因为质量监控本身很难,只影响一小撮用户 100% 时间的问题在总体指标上根本看不出来;其二,ML 故障在影响与时间两个维度都「模糊」,起止时间难定,坏与「还不够好」之间没有清晰分界;其三,排障与恢复不受边界约束,牵动的技术、产品、业务部门比非 ML 系统更多。按角色给出的准备包括:模型与数据人员把全部模型和训练数据版本化并留存可直接服务的历史模型、指定可接受的回退策略、选定与实现无关的质量指标;软件工程师保证数据血缘清晰、训练与服务的特征处理一致以防 training-serving skew、把模型与二进制的发布解耦并备好回滚工具;ML SRE 预留事件余量、定期演练、做架构评审与 SLO/SLI 设计并主动理解业务;业务负责人则反过来理解技术的能力与局限、保障组织的事件容量并制定复盘完成标准。结论是:模型是世界与计算机系统之间的接口,故障源于世界、系统的表征能力、系统改造世界的能力三者失配,因此模型与数据质量必须成为全组织的使命。见 三条指导原则与角色准备 与 结论:全员质量使命。
第12章 How Product and ML Interact
本章把视角从工程与运维移到产品与业务:当公司急于用 ML 满足客户需求时,仍按传统软件方法论行事的产品团队会进入一片陌生地带。作者强调做第一个 ML 产品之所以令人无措,不只是「把 ML 做对」本身难,更在于 ML 与产品其余部分、与整个业务的整合需要数据采集与治理、数据质量、产品行为定义、UI/UX、业务目标同时成立。全章以贯穿全书的 yarnit.ai 电商网站为用例,先说明敏捷方法为何与 ML 项目的前提相冲突,再给出 ML 产品开发的六个阶段,逐一讲清发现与定义、业务目标、MVP 验证、模型与产品开发、部署反馈、支持维护各自要回答的问题,随后用较大篇幅讨论自建还是购买(模型、数据处理基础设施、端到端平台与评分法),最后落地到 YarnIt 的推荐功能族与结论:PM 和业务负责人必须在每个阶段执着地问对问题,先弄清业务问题与目标,再判断 ML 是否真需要,之后才是买还是建。
做 ML 产品难在整合,以及本章为什么只看 yarnit.ai
作者开篇点明:把前沿研究用到业务上,让仍 anchored 在传统软件产品开发方法论的团队进入了陌生领域。难点不止「把 ML 做对」,而是把 ML 整合进产品与业务时,数据采集实践与治理、数据质量、产品行为定义、UI/UX、业务目标必须一起奏效。ML 能嵌入的产品类型极广:分析类应用里推导业务趋势、装进消费级设备、自动驾驶里识别物体并决策,但本章不逐一讨论这些集成形态,而是聚焦全书一直在用的用例——yarnit.ai 电商网站要引入 ML。选它的好处是同时含后端用例(消费浏览与购买日志预测商品兴趣)与大量前端集成(查这位顾客此刻可能感兴趣的商品),复杂度适中又便于理解;作者也坦承它不可能类比所有系统。见 ML 产品的整合难度 与 聚焦 yarnit.ai 用例。
敏捷为何不适配,以及 ML 产品开发的六个阶段
现代软件团队习惯敏捷:短反馈回路、面向客户的故事与故事点、面向小团队的估算。把敏捷套到 ML 上几乎每一项前提都被破坏:反馈回路长(有时数月甚至数年)且间接来自数据而非直接来自客户;整合常牵动全公司的人,小团队执行不再够用;模型开发在等待结果显现于数据时会有任意长的延迟;不能「先建后验」,因为连构建阶段本身都得基于数据;最要紧的是模型既不完全可复现、也不随时间稳定,同一模型多次训练可得不同结果,或原地不动而世界变了、价值就不再相同——ML 模型永远没有「做完」的一天,产品集成的确定性因此有限。替代方案是采用标准的 ML 开发生命周期来管理不确定性:发现与定义、业务目标设定、MVP 构建与验证、模型与产品开发、部署、支持与维护,且项目从一开始就必须高度迭代。见 敏捷前提被破坏 与 六阶段生命周期。
发现与定义:先框定问题,再判断 ML 是否合适
发现与定义是必须的第一步,尤其对习惯「先建后验」的人最容易想跳过,但在 ML 语境里它恰恰用来尽早处理不确定性:先定义问题空间、理解并框定业务问题与期望结果,再把问题映射到解空间;技术团队要找可量化基线来判断可行性,业务方则在结果尚不清晰时想要明确的成本收益分析,平衡干系人需求、问题框定、目标定义与业务关系是这一阶段的关键。因为产品最终要把结果展示给人,扎实的用户研究没有捷径:识别痛点、按需求排序、绘制用户旅程图找出关键流程与阻碍,并据此定义为了让 ML 方案能跑起来必须改造的流程,还可做市场规模测算。接着要问「怎么知道 ML 能帮上忙」——ML 的强项是做决策或预测,适合的特征包括人力规则难以表达的复杂逻辑、大规模个性化、规则随时间快速变化、有清晰评估指标、以及不要求 100% 准确。见 发现与定义 与 ML 适配判据。
业务目标设定:错误代价、安全网与业务指标
选 ML 需求要同时兼顾设计与业务目标,PM 必须理解终端用户与长期目标:例如让顾客更容易找到并买到想要的商品,而且要每次回访都重复发生,否则就可能造出一个极强系统却只解决了一个很小甚至不存在的问题。ML 很少零误差,没有护栏后果可能很严重:若模型替客服预测并取消订单,把用户意图误判成取消会带来真实的财务损失;而商品详情页的相似推荐即使不准,代价也只是转化率偏低与一点不可信感。因此 PM 必须预判错误预测的后果、据此确定期望的精确率与召回率,并把安全网建进产品:内在安全网利用产品本身的不可能性(没有订单就不可能取消订单,这类邮件可由模型忽略但最好让客服人工看一眼),用户不可见;外在安全网用户可见,如确认意图、让用户从候选回复里挑选而非自动发送。另外还要定义与第 8 章模型指标不同的业务性能指标,指标要具体可测以减少歧义、让成败可判定。见 错误代价与护栏 与 内在/外在安全网。
可测的业务指标与用规则代理先做 MVP
先定产品或功能目标(例如提升 yarnit.ai 收入),再指派具体可测的产品指标;电商推荐常跟这几项:点击率(推荐列表带来的商品页浏览数 / 展示商品总数,可评估购物车页「经常一起买」)、转化率(推荐列表带来的加购事件数 / 展示商品总数,可评估详情页「相似商品对比」)、平均订单价值 AOV(总收入 / 订单数)、推荐参与 AOV(含至少一个推荐商品的订单均值)、总收入、推荐参与收入,以及 CAC、CLV、CRR、退款退货率、弃购率等业务指标和一些流量类虚荣指标。把 ML 模型接进产品代价可能很高(建数据集、训练、上线常要数周到数月),因此要尽早拿到「有用性」信号,回答两问:能否做出够用的模型,以及能否把它接进产品并让人觉得有用。做法是先对已建模型做仔细的离线评估,再对一小撮用户「假装」这个交互存在——用固定规则/启发式发布 MVP 而非真模型,例如按上次选择列清单、买花样就推荐配套毛线与针具、每年秋天推荐应季毛线、把常用信用卡设为默认支付。几条简单规则代理就能验证方向、省下大量投入。见 业务性能指标 与 MVP 与规则代理。
模型与产品协作开发,以及增量部署与反馈回路
有了清晰目标与指标,下一步才是建模型并把它接到面向顾客的功能上:这是设计、工程、ML 研究者、业务方与 PM 的协作,构建从简到繁,PM 要驱动一轮轮训练—测试—验证循环、管理可能毫无进展的科学家站会、在设计/科学/工程之间的迭代依赖里穿针引线,并持续做干系人管理。部署阶段把 ML 系统引入服务真实流量的基础设施,同时收集反馈数据回灌训练管线:反馈既用于衡量模型影响、加深可用性理解,也是模型继续学习变好的机制,能直接产出带标注的数据集(YarnIt 里就是「用户点没点推荐、推荐的商品买没买」)。放量必须与受控地观察业务指标绑定,据此决定扩大放量还是关掉并调查异常;一个典型难点是大公司里具体建模项目与高层业务目标之间隔了很多层——高层说人均收入或新客增长,模型却在优化互动得分,PM 的核心职责就是在两个域之间做翻译、改进用户可观测性以连接低层改进与高层影响假设。因此产品团队必须事先规划好增量部署方案。见 协作构建 与 部署与反馈回路。
支持与维护不会结束,以及自建/购买的范围划分
接入产品的 ML 系统在第一个发布版本上并不完整,甚至可以说永不完整:它们在建模世界状态并据此交付价值,而产品、客户需求、业务认知与世界都在变,只能持续开发与发布模型。开发部署或许相对便宜,长期维护却比通常设想的更难更贵,组织若真要集成 ML 就得认真对待模型与支撑它的基础设施的持续维护;这也正解释了敏捷为何不适配——它们从不真正「ship」或「finish」,而且很难分清某段工作算维护还是开发,任何依赖两者清晰分离的开发观都难以套用。进入自建 vs 购买前必须先划清范围:模型是局部的,归拥有数据与基础设施的组织所有,一般必须来自对自己数据的学习(迁移学习拿外部通用模型再训,最终模型仍是自己的);但造模型用的工具与基础设施是另一回事,市场上有大量开源与商业选择。传统取舍要平衡成本、风险、定制、长期资源可用性、知识产权与供应商锁定,ML 时代还多了模型、数据处理基础设施/工具、以及承载一切的端到端平台三个层次。见 支持与维护永不完成 与 模型必须自建。
可买的通用模型、基础设施取舍与评分决策法
模型层面,买现成方案要求组织现有的数据与流程与方案的预期输入输出及行为高度兼容;若用例细节、数据或流程很专属,为迁就供应商规格而改造内部系统的成本可能把「买现成」的好处全部抵消。真正通用的用例确实存在且越来越可行:图像物体识别、多语种语音与文本互转、情感分析等,预训练模型常能跨大量场景工作,甚至完全跳过训练;而首个用例往往是整个数据战略的起点,取得专业知识与技术本身有时就是目的。数据处理基础设施层面,取舍更多是「把责任委托给谁」——开源还是第三方厂商、云上还是本地、 packaged 云工具还是原生云工具;决策驱动因素不再是用例,而是内部可用技能与供应商锁定风险,商业平台新、缺长期记录、机会与风险并存,开源往往采用广、历史长但发布慢且很少提供完整方案,多是需自行拼装的点方案。端到端平台层面,当前几乎没有从数据一路到可服务模型都整合良好的平台,决策要看数据计划是长期还是一次性(工具可能在你收回实施成本前就过时)、以及计划规模(小项目自然偏 build,要扩展成组织级活动则 buy 更有规模效率)。最后用对齐度、投资回报、时间、竞争优势、维护支持五项因素加权打分,并召集领导、产品、销售等干系人共同评审、坦诚咨询多家供应商后再定。见 通用用例可买 与 评分法与决策共识。
YarnIt 的推荐功能族与全章结论
落到 yarnit.ai,ML 可通过提升转化率、客单价、利润率乃至忠诚度来服务业务目标,而商品推荐是大量功能可由模型驱动的地方:模型可用商品目录、搜索词、浏览历史、过往购买、购物车、社交推荐、位置、客群画像等数据,像熟悉一个人之后能挑出生日礼物那样做个性化。示例功能族包括:按总销量展示热门毛线(非个性化、靠集体偏好,用购买数、浏览时长、地区浏览与购买量排序,还能应对无历史新客的冷启动,且只依赖成熟可靠的数据库技术)、按浏览历史推荐(搜羊毛线就展示主打羊毛的品牌与花样)、交叉销售与向上销售(看婴儿毛线时给配套花样与热门婴儿服饰、给大包装折扣,既提客单又省顾客时间)、基于内容的过滤(用商品元数据做「相似商品」,准确率高度依赖元数据质量,如同色同材质换品牌且评分相近、正好在促销)、协同过滤(最主流,只看其他用户对商品的正向交互,认为过去偏好相似的人未来喜好也相似,且信任真实选择而非可能只是猜测的评分,主流网站常把两者结合),以及用简单 A/B 测试配「该算法能把互动或转化提升 x%」的假设来评估推荐模型是否奏效。结论是 PM 与业务方必须在每个阶段执着问对问题:先尽可能具体地理解业务问题与目标、把干系人需求翻译成技术需求,再判断 ML 是否真需要,随后才是买还是建,并始终清楚定义目标与可测指标、选好成功度量、迭代式部署;ML 与传统软件应用开发有诸多不同要求,成功意味着对 ML 带来的新处境保持高度警觉,同时紧盯真正的业务收益并朝它推进——哪怕道路颠簸。见 YarnIt 推荐功能族 与 全章结论。
第13章 Integrating ML into Your Organization
本章与第 14 章明确写给组织领导者。作者用「不规则园艺」作比:把一门新学科引入组织常像不管土地肥不肥就四处撒种、隔阵子回来看什么活了;若无结构与纪律,多半只会看到荒芜。ML 尤其难,因为根本不同之处在于它与数据的性质及表达紧耦合——组织里凡有数据的地方都可能与 ML 相关,ML 因此不是可与其他开发活动隔离的神秘独立物,而是天然横向的活动,领导者需要全局视野并在每一层具备影响力。全章先交代四条假设(领导者视角、细节重要、ML 需懂业务、以及「你以为 ML 能为你做什么」这一最重要的假设),用两个 YarnIt 反例说明局部最优如何造成全组织损失;接着讨论价值清单与组织风险(ML 不是魔法、心智模型惯性、Westrum 文化类型学、孤岛团队),给出实施模型(挑非关键指标、纯增量起步、记住「建立组织能力」这个目标、greenfield 与 brownfield)、角色职责与招聘策略,最后用 Galbraith 星型模型把战略、结构、流程、奖励、人员五个维度连起来,并强调变革要多线并行但可排序。
园艺比喻:ML 天然横向,变革不能靠撒种
把任何重要新学科引入组织,常常更像一次不规则的园艺:不管土地肥不肥先把种子撒开,偶尔回来看看长成了什么;运气好春天一片繁花,但缺乏结构与纪律时更可能只看到荒芜。组织变革本来就难,可供选择的变革与文化方法论近乎无限,光挑选就令人却步;而 ML 还有更贴切的领域原因:它与数据的性质和表达紧耦合,凡组织里有数据、处理数据的地方,就可能有与 ML 相关的东西——把业务中涉及数据的领域逐一列出来,恰能说明「数据无处不在,ML 随之无处不在」。因此 ML 不是一个能与其它开发活动隔开的神秘独立物,要成功,领导者必须对正在发生什么有整体视角,并有办法在每一层施加影响。最反直觉的是:几乎所有变革方法论都建议从小处起步以控制风险,首批临时实验也确实开销不大,但一个小试点的成功完全不能保证更大规模的 ML 实施也能做好。避免孤岛化本就难,对 ML 尤其关键;好消息是,从小处起步、养大成功试点、边长大边正确处理机会与风险,是完全可行的,前提是你必须「刻意为之」——这正是要先谈框架与假设的原因。见 ML 天然横向 与 从小处起步不保证规模化。
四条章节假设:领导者视角、细节、懂业务
作者先把写作前提摆明。第一,本章与第 14 章毫无歉意地写给组织领导者:虽然对数据科学家、ML 工程师、SRE 也有相关内容,但最迫切的读者是对组织健康、结构与结果负责的人,规模从两人以上的团队到成百上千人的事业部或公司。第二,细节重要:一般领导者不深入参与变革项目的实施与管理细节,但 ML 需要有点不同——要做好 ML 就得理解它的工作原理、它如何使用数据、什么算数据,领导者得先懂这些,决策才可能明智;而按常规管理活动他们不会自动获得这些知识,所以必须有显式机制,这与「靠少数代表性 KPI 加团队动力学理解就能管好多数团队」的主流管理理论相反。作者认为 ML 足够复杂、新颖、影响可能很大,因此目前阶段了解细节确实要紧(预期随时间会变),建议是别把 ML 孤岛化——它天然是横向活动,强孤岛会反转信息与控制流向并引入巨大风险管理问题。第三,业务复杂性是「如何构想与实施 ML」的直接输入,不只是把 ML 人员抄送进目标与绩效通知,ML 从业者需要比一般产品开发者更了解宽泛的业务层关切与状态。见 领导者视角与细节 与 ML 天然是横向活动。
两个 YarnIt 反例、集成点结构与「最重要的假设」
例 1:YarnIt 一位 ML 开发者想影响网店销售,建了个识别销量不佳商品的模型并在特定场景推荐它们;模型可能成功找到新买家或唤醒老买家,却挑中了供应极少的 prestige 商品羊绒线——模型没有利润率或库存特征,无法表示这些信息,于是把它全卖光了。羊绒线行业性紧缺、补货要数周甚至数月,而电商里顾客发现某件商品缺货时常把整笔订单转去别家,YarnIt 反而因这一个缺货丢了其它商品的销售。例 2:推荐与发现团队用浏览器 User-Agent 的有限信息判断浏览器与平台;网页设计团队为掌握配置分布,未与 ML 团队沟通就把完整浏览器信息记进日志,建模团队在不知情下开始用完整 User-Agent,而完整 User-Agent 加上模型已有的位置信息常能唯一定位一个人,于是模型具备定向到个人的能力,违反 YarnIt 的隐私治理政策与运营国家的合规要求,给全组织带来严重风险。两个案例里各团队在自身语境都没做错,错在信息不完整时行动,因此领导者必须提供协调与全局监督。一种结构思路是:把最需要监督控制的 ML 部分集中、把最需要领域专长的部分解放、再设一个两者汇合的集成点,监督、掌舵与沟通都在那里发生;多数组织已有跨领域对话的场所(理想是产品管理),没有就得新建一个。最重要的假设则是「你以为 ML 能为你做什么」:ML 不止能赚钱,也可提升公民参与、为救灾筹更多款、判断哪些桥最需维修;对商业领袖通常是多赚钱并让客户更开心、或通过自动化降成本。见 两个跨部门反例 与 集成点与价值假设。
YarnIt 的价值清单与「ML 不是魔法」
YarnIt 的 CEO 多年前开始听说 ML,早期设想包括:用模型预测某顾客(未登录则是会话所有者)基于既往行为与兴趣可能购买什么,来驱动站内搜索排序;帮顾客发现新商品,把首页相当一块交给专门为此构建的模型;管理库存——建模供应链约束与库存水平、在财务、销售、仓储与供应约束下给出最优补货;以及把商品与订单利润率作为特征加进其它多个模型以提升盈利能力。作者点出这些想法的时标与「组织侵入度」不同:改搜索排序几周到几月可完成、对客户满意度与销售有可测影响,且不需全组织广泛参与;改库存与供应链则更久、需其它部门深度参与,做得好可能像准时制供应链那样重塑公司整体效率,但绝不可能由一位 ML 工程师主导。价值之外更要紧的是先看清风险,否则无法在两者间做有依据的取舍。第一个风险是「ML 不是魔法」:多数业务领导者对价值与潜力有认识,却未必同样理解风险,于是容易把 ML 从业者近乎神化、领导力层面没人懂其机理,进而在误解范围与机制的同时忽略项目对全组织的影响范围;最大危险是风险变得不可见、或事实上成了「别人的问题」这种外部性——那是早晚必然、只是可能被任意推迟的灾难配方。见 价值清单与侵入度 与 风险被外部化。
心智模型惯性、Westrum 文化类型学与孤岛团队
第二个风险是心智(思考方式)模型惯性:实施 ML 与任何变革一样需要干系人管理与取得被影响者的认同,但不同在于干系人总集往往大得多——于是「搞清谁该参与」这类纯后勤随人数放大,而涉及说服、沟通、尤其是理解人们如何建模这次变革的部分,重要性更是剧增。带着高层的 talking points 出席所有会议通常行不通:只从高层视角描述局面,劝不动人改变行为;关键是领导者与全组织实践者各自用什么心智模型来表征「发生了什么、该如何反应」。若计划默认所有人都会转成你(或某个人)的理解方式,计划多半短命;即便新做法客观上正确,只要心智模型没变,变革者就得承担说服的重担,且说服必须配上能「说到听众心智模型」的动机——有人觉得让本团队数据可被别人读懂毫无收益,有人怕被比下去,有人深信只有尽快把功能发布出去才重要、其它都不算数。第三个风险是不同文化里风险能否被正确浮现:领导层看得见收益、看不见风险时,风险管理就会临时、资金不足甚至被刻意不做,在负面导向文化里还可能被歪曲。借 Westrum 的软件组织类型学(权力导向、规则导向、绩效导向)可看清:只有规则导向的官僚文化在 ML 实施上有结构性问题——权力导向倾向碾碎新事物、多半根本不会认真自主实施 ML;绩效导向对新事物、协作、沟通与风险共担开放,能容纳成功 ML 所需的开放协调;规则导向容忍新事物却在出事时惩罚人,职责边界窄且被死守、协调极少,ML 能落地但一遇困难「担责者」被罚、创新立刻停止,于是很难充分建模并响应 ML 的横切风险,可能造成重大损失。第四个风险是孤岛团队:把 ML 当作又一类新工作、另起一个孤立团队来降低启动摩擦很常见,但 ML 实施几乎总要多部门协助,而且其影响面之广要求组织结构、流程与人员都跟着变,范围收得太窄本身就会妨碍成功。见 心智模型惯性 与 文化类型学与孤岛。
实施模型:纯增量起步、记住目标与 brownfield 现实
谈完风险,作者讲怎么真正落地。小项目应从「对组织成功不可或缺但又有用的东西」起步,涉及创建并治理数据源、组建同时具备问题域与 ML 专长的团队、建立用来跟踪进度与掌舵的横向调节机制;过程中不妨带着「明知麻烦迟早会找上门、只是不知何时何种」所需的乐观。先挑一个指标:理想是有用但不属于系统关键路径的,这样既能拿到实施经验、又能把未来扩张需要的跨团队连接先搭起来,即便搞砸了也不至于酿成大灾难。YarnIt 的例子很有说服力:用 ML 做搜索排序很诱人,但搜索结果页直接带来的销售占比可观,是「最终该做、但不适合先做」的高风险起点;全站其它位置也都收入敏感或收入关键,于是团队换思路——在没有推荐的地方新增推荐:给「加入购物车确认页」加上推荐商品,借用户刚表现出对某商品兴趣的那一刻推荐别的商品,纯增量、低风险、可能还有不错回报,购买意图已存在且不太侵入既有客户流程,做「买了 X 的人也买了 Y」,用这些推荐的点击率与搜索结果点击率对比来度量。当然熟悉之后也可改用更传统的「可达性/可行性与预期收益结合」而非「最小化干预风险」的选法。要记住真正的目标是用 ML 做实验、在组织里建立能力:即便选定的业务指标没改善,项目整体仍可成功,因为学到了很多、可以换路再试;要在「不被沿途发现分心」与「不僵守先前决定」之间走钢丝,把战略目标与当初导致这些目标的背景写下来,处理战术问题或事故时回看很有用。greenfield(从零开始)与 brownfield(已有系统/团队/流程)方面,实践中几乎全是 brownfield,因为多数价值来自改进已有系统;但变革通常越接近 greenfield 越顺,反直觉的关键度量是「它会招来多少反对」——brownfield 里别人的职业成功常依赖于「什么都没变」,所以预期阻力大的项目常试图另起新团队覆盖此前无人负责的职责;而因 ML 强互联,这种相对孤立不可能长期维持,很快就得去跟别人申请许可。最稳妥的 guidance 仍是先从一个讲得通的指标起步(成功的变革几乎都需要好故事),再据此决定项目该多 greenfield 或 brownfield,同时承认多数情况是 brownfield。见 纯增量起步 与 记住目标与 brownfield。
ML 角色职责与招聘拆分
做好 ML 涉及令人眼花缭乱的技能、关注点与业务关切,作者建议仍按「数据在组织内的流动」来结构化:业务分析师/业务经理负责某条业务线的运营与财务结果,握有让 ML 成功所需的数据与意愿,但一旦做砸,坏信息会直接损害他们履职;产品经理决定产品方向与 ML 如何被纳入既有产品、决定拿数据做什么,还可能有专责的 ML 产品经理;数据工程师/数据科学家懂抽取、治理、管理与追踪数据并从中取价值;ML 工程师构建并管理模型及产出模型的系统;产品工程师开发被 ML 改进的产品、帮忙理解如何把 ML 加进产品;SRE for ML / MLOps 人员对模型部署的整体可靠性与安全负责,改进构建与部署流程、提出并管理长期性能跟踪指标、开发保障模型可靠性的新基础设施——这些角色包住整个流程,是少数端到端看流程的工程师。小组织里这些职能可由同一人兼任,重点是把职能想全、填上。招聘方面,ML 人才需求远超受过训练的供给,大厂又吸走多数新老毕业生;常规建议(更早接触候选人、把招聘流程做扎实、定期沟通、宣讲公司优势)都对但属标准打法,市场极热时全做对也未必管用。作者的重构是:把用人拆成「必须立刻具备 ML 知识与经验」和「可以在职边做边学」两类——多数情形乃至启动项目只需一两位有经验的 ML 研究者/从业者来设计模型、指明所需系统,而管数据、把 ML 集成进产品、在生产中维护模型的人,都可以是别处有才干、正在岗位上深学 ML 的人。至于那头几位种子,标准剧本是组合使用有经验公司的承包商/顾问、请一位愿意带人的真有资历的超级明星、以及押注有潜力的初级新星,并接受过程颠簸——这对既想做 ML、又没有声望或资金与大厂硬拼的组织是可行选项。见 七类角色 与 招聘拆分。
Galbraith 星型模型:五个政策维度
把视角拉到传统组织设计:让组织按该做的事良好运转是门混合了战略、结构、流程的难艺术,对领导者最关键的一点是——汇报结构常常是成功组织设计中最不重要的部分,还有更有力的决定因素影响行为。作者选 Galbraith 的星型模型套到 ML:战略、结构、流程、奖励、人员都是管理层可以设定的设计政策/选择,共同影响员工行为;它有用正因为超越了多数领导者「起点即终点」的组织架构图——Galbraith 指出「多数设计工作在画组织图上花太多时间,在流程与奖励上花得太少」,于是可以检视这些互联维度是否都受影响、能否被调整以更好支撑要求。战略是组织要往哪走,驱动成功模型、决定哪些部分被关注与资助、如何衡量成功:「纱线分销业界一流的机器学习」把 ML 定为主要焦点,但若坚持只做「一流」也会限制部署范围;「产品方方面面都用 ML」意味着资助处处创新、对起步期较低质量更宽容;「通过包括 ML 在内的多元手段提升销售」则更偏实验性、比传统手段显得次要。结构描述谁有权力(正式监督权威,也可能落在团队内技术负责人手中),Galbraith 列出职能、产品、市场、地域、流程五种:职能即把 ML 实施集中到单一团队,产品即把 ML 团队分散进各产品线,市场按客户细分(YarnIt 可按编织者/织工/钩织者分),地域按地区(对 ML 唯一明显理由只是当地法律治理与合规,通常不这么组织),流程/横向组织把权力聚合给开发与部署流程的人,适合跨多条产品线又要制定组织标准的 ML 团队。流程约束信息与决策在组织中的流动,分垂直(分配预算等稀缺资源)与水平(管理端到端工作流);把 ML 引入当作「决策集中、全组织执行」的垂直过程,在领导已掌握依赖与连接时有效,否则会得到彼此脱节的决策——比如只资助训练/服务团队加功能,却没资助数据治理、长期质量度量或公平性团队。见 汇报结构最不重要与星型模型 与 五维度与流程。
奖励与人员、变革排序、结论四问
星型模型的后两维:奖励既有金钱也有非金钱,多数组织难以纯靠薪酬争 ML 人才,更宜以使命、文化或成长竞争;员工看重认可、地位、职业机会,也看重能自主运用技能创造有价值的东西——「自主」微妙,因为 ML 人员既要独立,又必须受组织所需的治理约束,以确保部署的 ML 公平、合乎伦理、有效并合规。把奖励对齐到不只业务目标的原始执行,还包括可靠性、公平性与稳健性,才能形成「不忽视这些方面」的正确激励;另一个反直觉建议是:既然 ML 可能影响组织大部分角落,不妨奖励全组织员工学习 ML——销售、会计、采购、产品经理都有基本 ML 素养,组织长期会更有效。人员维度涵盖心态与技能,以及招聘、选拔、轮岗、培训与发展等人力资源政策:柔性组织需要柔性的人,跨职能团队需要能协作、理解组织多个面的「通才」;鉴于 ML 教育稀缺,多数组织应考虑招能在职学习的人,这一点在 SRE 领域尤其成立——ML 生产工程师从扎实的可靠性与分布式系统技能中获益远多于 ML 技能,ML 是工作发生的语境而非总是工作内容;组织还需要能穿过 ML 造成的模糊性、不停在「模型这么说的」这种根因上的人,能创造性思考模型如何被构建、世界与数据的变化如何影响它、它又如何影响组织其余部分。关于排序:这些维度为便于说明才分开,现实里彼此纠缠,只控制单一维度几乎不可能成事;好消息是这往往正是你想要的——脱离流程变化的战略变化几乎产出同样的结果,换一批人去学旧文化多半长成和旧人一样的行为,用钱奖励新行为却让旧行为因流程优化而更容易做也不会改变什么。成功的变革通常要在多条战线并行推进,但不必同速同强度:可以先宣布改战略、再改流程、再改奖励,逐个处理但都要触及(至少是对你组织重要的那些),讲清时间表与评估成败的标准、公开承诺总目标以提升可信度并赢得内部支持者。结论给出四个必须至少想一想的问题:组织真正在乎什么(与它对齐才不会被忽视、也才拿得到资源);人们今天在做什么、需要怎么变(许多变革计划来自脱离一线体验的高层,退一步看他们做什么、为什么做会大幅提高成功率);做新事比做旧事容易多少(若更难,人人都会说重要但变革会更慢更难,甚至不发生——让做对的事更容易、做错的事更难);以及承认变革需要时间——展露组织的脆弱性既能赢得看重现实的人支持,也让人更好管理自己对变革的反应,但别忘了保持规律的沟通节奏,一次大张旗鼓后长期无声会让人怀疑势头已停。见 奖励人员与多线并行 与 结论四问。
第14章 Practical ML Org Implementation Examples
第 13 章给出星型模型与设计原则,本章把它落到三种最常见的组织采纳结构上,逐一描述领导者如何选择把 ML 集成进组织、这个选择带来什么影响,并特别检视它对流程、奖励、人员三个维度的作用,好让领导者能从场景里认出自己组织的影子并把结论映射到本地情境。场景一是新建集中式 ML 团队(ML Center of Excellence):专业化与影响力枢纽是优势,离业务太远、与产品团队竞合、对业务单元需求响应慢是陷阱;场景二把基础设施与专长分散到各部门:起步快、贴近业务,但缺少中央专长、重复建设、跨模型排障困难、一致性难保证;场景三是混合式——中央保留基础设施与建模顾问团队、各业务单元自建建模专家,追求效率与速度兼得。三个场景都给出可直接照搬(但被作者称为「过度简化」)的默认实施清单,并以「首次引入 ML 没有通用最佳路径、最大障碍常是领导层对风险/变化/细节的容忍度」收束。
本章框架与场景一:新建集中式 ML 团队
组织是复杂实体,各个面向彼此相连;采用 ML 会给领导者带来新的挑战与变化。为在实践中考察,本章看三种常见的组织采纳结构,以及它们如何回应第 13 章提出的组织设计问题:每个场景都描述领导者的集成选择及其影响,衡量优势与可能的陷阱,并特别关注该选择如何作用于星型模型的流程、奖励、人员三个维度,好让领导者从细节里认出自身组织的影子、映射到自己的情境与战略。场景一从一次成功试点起步:YarnIt 先雇一位 ML 专家做出购物推荐模型,试点成功、销售上升,公司于是要决定如何扩大战果、以及投入多少;CEO 决定请一位新 VP 来组建并执掌 ML Center of Excellence,作为组织全新的集中式能力。见 三场景框架 与 集中式 CoE 的设立。
集中式的优势与陷阱
集中式选择有显著优势:团队可以专业化,协作与共事机会充足,领导层对全公司 ML 工作的优先级有清晰权限;若可靠性专家的职责范围限定在 ML 系统,也能被收进同一组织。集中化还造出一个重要的影响力枢纽——ML 组织的领导者在全 YarnIt 倡导其优先事项时更有分量。但随着团队壮大、项目多样化,组织里需要与 ML 组织打交道的面越来越广,集中化就转为劣势:ML 团队离业务太远时,看到机会、深入理解原始数据、建出好模型都要花更久;一个与各产品团队隔绝的 ML 孤岛,若得不到这些团队支持就很难成功;更糟的是把 ML 与产品开发在组织图上完全分开,可能诱使两支队伍彼此竞争而非合作。集中式组织也未必能及时响应那些请求「把 ML 加进自家产品」的业务单元——真正把 ML 生产化时,业务单元多半不理解 ML 团队的可靠性需求,也不理解为什么要走可靠性流程,于是觉得交付被拖慢。作者同时提醒组织可以演进:本场景按纯集中式走星型模型,场景三会展示它演化成「集中式只做基础设施」的形态,另一条演化路径是让中央团队去教育、赋能他人以提升全组织的 ML 素养。见 集中式优势 与 集中式陷阱。
集中式的流程:评审、独立评估与组合测试
引入 ML 对组织的影响往往是弥漫性的,为缓解集中化的缺点,可以用流程把决策或知识分发(去中心化)出去。关键干系人评审:由 ML 团队定期汇报,既要确认当前建模结果获得批准,也要让业务领导者理解系统正在如何适应业务;「评审该放哪些指标」本身就是一门学问,指标必须完整,既含改进也含任何模型实现的成本,业务干系人还可复核各 ML 团队工作的优先级、ROI 与用例。变更的独立评估:集中团队里所有变更容易互相依赖、被别的变更卡住;若改为各自独立评估、在每个模型单独改动生产时验证其准确性,变更就能更快可用——而且模型常在平均表现上变好、却伤及特定子群,判断这类取舍值不值常需要大量分析与挖掘,并依赖难以用「预测准确率」这类简单指标反映的业务目标来判断。组合变更的去风险测试:大型建模团队常并行开发多项改进并一起上线,于是必须既单独测、也组合测候选变更(但资源与机会成本决定了不可能测遍所有组合),因此要有筛选候选变更、判断哪些值得组合测试的流程,典型形式是讨论模型上线与组合测试情况的 go/no-go 会议,会议可推动进一步测试或直接决定上线;这类流程在集中式团队里更容易做,但仍要引入机制让各业务单元(提出变更的产品/业务团队、受变更影响的支持团队)也能参与评估。见 关键干系人评审 与 独立评估与组合测试。
集中式的奖励、人员,与「大购物车」案例
奖励上,要让 ML 项目成功,必须奖励业务方与建模者之间的互动:员工应按「跨组织协作的有效性」和「与业务结果的对齐」来评估,而不只按完成本部门/事业部/团队狭义使命的效率;寻求其它组织的输入与正式评审、提供反馈、沟通计划都该是被奖励的行为,形式依各组织文化而定但必须被认可,可以是奖金、休假等金钱形式,也可以是晋升与职业流动——YarnIt 甚至可以在「成功员工特质」里加上「有效的影响者」。人员上,产品领导者需要实验心态,既欣赏 ML 创造的价值、也容忍部分风险:为组织目标调模型需要反复实验,途中几乎肯定会出现负面影响。作者用「越大不一定越好」把这个道理讲透:ML 团队做一个以「造出更大购物车(商品更多、金额更高)」为成功定义的项目,因为大额购买客户更有利润;团队用最容易拿到的指标「每位受影响用户的购物车规模」衡量自己,结果新大车被弃购的比例远高于预期。销售高管先按 UI/支付问题排查,最后与 ML 团队一起形成理论:模型成功说服用户加了更多商品,但部分用户看到总额后却整单放弃,而不是只买自己买得起的那部分。此时各方才能协作求解:销售给出可接受的弃购率目标供模型优化,Web UI 团队设计「只结算车里一部分」的交互,产品团队考虑对弃购用户做再营销、问是否只买其中几件,ML 团队则评估「大车」项目到底有没有优化收入。见 奖励跨组织协作 与 大购物车案例。
细微差别心态与场景一的默认实施清单
从大购物车案例推出的要求是:YarnIt 及所有实施 ML 的组织,都必须为「细微差别的心态」而招人。领导者要能容忍复杂、乐于跨越组织边界(哪怕超出自身权限范围)工作,还要有信心向上级如实呈现这些影响的复杂性,不过度简化、不加美化——CEO 不需要听到「ML 是魔法、能解决一切」,而需要听到「业务目标如何借 ML 这个工具被达成」。目标不是「做 ML」,而是推动业务的指针;ML 很强大,但它的微妙之处在于「通过最小化负面影响来取得价值」。集中式团队里的人若尚不具备质量、公平、伦理、隐私方面的专长,就必须接受培训。作者随后给出被明确称为「过度简化」的集中式默认实施清单:招一位兼具 ML 建模与生产技能的新领导;招 ML 工程人员建模型;招软件工程人员建 ML 基础设施;招 ML 生产工程人员运行基础设施;与产品团队一起确定实施计划(数据来源与新模型的集成点);对整个项目建立定期高管评审;按成功实施来规划薪酬,同时补偿 ML 人员与产品领域人员;启动隐私、质量、公平、伦理项目以建立标准并监控合规。见 目标不是做 ML 与 集中式默认清单。
场景二:去中心化的基础设施与专长
场景二里 YarnIt 不设单一高级领导,而是在全组织投几位专家,各部门自行雇数据科学家(购物推荐与库存管理团队都在内)——本质上是允许数据科学与简单的 ML 实现出现在任何「需求足够、部门愿意付钱」的地方。这条路更快,至少起步更快:每个团队能按自己的优先级招人、排项目;ML 专家被雇进来时离业务与产品很近,因此对各组的需求、目标乃至政治都有很好的理解。风险同样明确:没有一个(尤其是管理层的)ML 专长中心,就更难形成「YarnIt 要把 ML 做成功究竟该做什么」的深入理解,管理层也不会懂得需要哪些专门工具与基础设施,容易偏向用既有工具硬解 ML 问题,也难分辨团队要的是真必需(如 TensorBoard 这类模型质量跟踪工具)还是「有也不错但未必需要」(某些模型类型/规模的 GPU、或规模巨大且成本高昂的云训练服务)。此外每个团队都会重复造同一批东西:能跨模型共享资源的健壮易用的 serving 系统、跟踪训练进度并确保训练完成的监控系统——可避免的重复都很贵。若有团队的工作横跨其它产品,排障会更难:得先弄清是哪个团队的模型负责,或更糟的是把多个团队拉到一起调试模型间的相互作用,而看板与监控的泛滥会让这件事指数级变难,任何单次模型变更影响的不确定性都会上升。最后是一致性:公平、伦理、隐私上只要有一个坏模型就足以伤害用户、损害公开声誉,认证、IT 集成、日志等 DevOps 工作也可能被重复。作者仍强调:取舍是真实的,但对很多组织而言去中心化恰恰是对的选择——它降低启动成本,同时让组织立刻从 ML 拿到定向价值。见 去中心化的设立与快起步 与 缺乏中央专长的风险。
场景二的流程、最小标准与奖励人员
要让去中心化生效,应聚焦那些「引入一致性又不带来过多开销」的流程。资深干系人评审:模型开发者仍应参加,并且把每个拟议建模目标与发现写成简短的内部报告/白皮书是个很有用的做法——记录试过哪些想法、组织从中学到什么,日积月累形成组织记忆,并带来类似软件工程代码评审的评估严谨性;YarnIt 应为此做模板(可由最早用 ML 的几组协作产生)和固定评审排期,评审小组要有实施团队之外的代表。分诊或 ML 生产会议:模型开发者每周与生产工程人员、产品开发组的干系人碰面,复核部署的变更或意外影响;会议可能办得很差(缺关键视角、只盯偶发问题而非系统性理解、陷进解题、或拖得太长),好的生产会议则短、聚焦分诊与排优先级、明确问题归属、并复核上次分配的进展。技术基础设施最低标准:确保模型上线前都通过某些测试,既有「模型能否服务单次查询」这类基线测试,也有涉及模型质量的更复杂测试;连 URL 标准化这种小改动都能推动内部一致性(在这个复杂快变的领域,凡能让事情更好记、行为更一致的东西都有用)。奖励上,高层要奖励一致性与公开的质量标准,例如及时写出并发表到广泛可读语料库里的报告与细致评审;各团队天然偏向本地优先级,因此必须奖励那些在速度、一致性、技术严谨与沟通之间取得平衡的行为;此场景里员工往往 ML 经验不深,一个有用的奖励是鼓励参会并在会上做报告。人员上要找能「既本地又全局」思考、权衡本地收益与公司可能代价的人,明确点名并奖励「无权威影响力」「跨组织协作」;每个部署场景都需要有人关心质量、公平、伦理、隐私并能影响组织,这里的特殊之处在于他们既要在本地实现这些要求、又要制定全公司标准并推动落地。见 内部报告与评审 与 生产会议与最低标准。
场景三:混合式(中央基础设施 / 分散建模)
场景三从集中式起步,等组织成熟、ML 采纳铺开后回头改结构:中央保留一部分基础设施团队与 ML 建模顾问团队,各业务单元也可自由雇并培养自己的建模专家;这些分散的 ML 人员初期会 heavily 依赖中央顾问,随时间逐渐独立,但所有团队都被要求使用并贡献于中央的 ML 生产实现。把基础设施的投资与使用集中起来,YarnIt 继续享有效率与一致性;把至少一部分 ML 专长分散出去,则加快采纳速度、改善模型与业务需求的对齐。作者特别提醒:很多组织都会演化到这个混合模型,作为领导者,提前为这种演化做规划是明智的。缺点则继承自前两种结构:把人员与实现分散到全组织可能带来低效,业务单元可能不懂 ML、做出特别糟的实现(若问题涉及隐私或伦理尤其麻烦);同时中央基础设施可能给分散建模团队制造摩擦、本身也可能更复杂更贵。不过公司存续越久,集中式基础设施模型越会回本。流程上可回看大购物车案例:若建模团队就在网店产品团队里,他们更可能迅速发现问题、把模型指标重新对齐到销售而非一味最大化购物车规模,还会想到「这批毛线先买一半、另一半留到下月」之类的新功能——在这些情形里 ML 都触发了「如何更对客户友好」的对话;但若问题跨越组织分部(网店模型给采购惹了麻烦),解决会慢得多,因为采购团队得先说服网店团队「是那个模型在惹祸」,这时组织文化必须支持跨团队排障乃至联合开发。作者列出可借用的流程:组合变更去风险测试、变更独立评估、ML 团队发现文档与评审、模型结果的业务评审、分诊/生产会议、技术基础设施最低标准、以及质量公平伦理隐私的培训或专责团队。见 混合式结构与收益 与 混合式的双重劣势。
混合式的奖励人员、默认清单与全章结论
混合式的奖励要防止各业务单元自建重复基础设施:高层应奖励业务单元使用中央基础设施,中央基础设施团队则应按「满足其它业务单元需求」来考核;衡量并奖励采纳、同时在几乎所有情形下鼓励使用中央基础设施是讲得通的。中央团队还该有办法识别业务单元里开发出的关键技术并推广到全公司;从职业发展角度,业务单元的建模者应能轮岗到中央基础设施团队一段时间,既了解可用服务及其约束,也给那些团队带去终端用户视角。人员上,所有团队都需要全公司视角:基础设施团队要造出真正可用、对全公司有吸引力的东西;嵌在业务里的 ML 团队要认同协作为上、主动寻找跨分部合作机会。默认清单同样是「过度简化版」:招一个具备 ML 基础设施与生产技能的中央团队(领导),其下软件工程建基础设施、ML 生产工程运行它;每个产品团队在自家业务单元雇专家,让 ML 工程人员直接与产品团队建模型;建立发现报告供资深干系人评审的惯例;确立全公司技术基础设施标准;按成功实施规划薪酬,既补业务目标达成、也补使用中央基础设施的效率;挑选有助跨组织协作的流程(如跨团队 ML 发现评审);启动隐私/质量/公平/伦理项目。结论:首次把 ML 引入组织很难,最佳路径必然因组织而异;成功要求事先想清楚必要的组织变化,包括诚实面对缺失的技能与角色、流程变更、甚至整块缺失的子组织——有时靠招或升一位合适的高管并授权其实施即可,但必要的变革常常横跨全公司。有些团队(生产工程、软件工程)起步并不需要太多 ML 技能,但会受益于学习小组、参会等职业发展;也需要在业务领导者中培养 ML 技能,找出几位能理解把 ML 加进基础设施的好处与复杂性的关键领导。最大的成功障碍,往往却是领导层对风险、变化、细节的容忍度,以及在回报可能很晚才显现时坚持做 ML 的耐心:要推进 ML 就得冒险、改变做法,让团队聚焦业务结果有助于采纳,而这意味着改动本来运转良好的流程、改变成功团队与领导者的行为,有时甚至要拿成功的业务线冒险;要理解所冒的风险,领导者就必须在意实施的若干细节——既要容忍风险,也要明确在意 ML 实施最终的可靠性。表 14-1 把三类结构在人员、流程、奖励上的要求逐格汇总。见 混合式奖励与人员 与 全章结论。
第15章 Case Studies: MLOps in Practice
全书前面铺陈了 MLOps 的原则与最佳实践,也尽量沿途给了例子,但没有什么比听一线从业者亲口讲故事更能看清这些原则在现实里如何落地。本章收录六组实践者自己撰写的案例,每个都从 MLOps 视角细述他们亲身经历过的一个具体问题、挑战或危机:面对了什么、怎么处置、学到什么、下次会怎么做不同。作者特别提示,读时会惊讶于「看似简单如负载测试、或看似毫不相干如另一个移动应用的一次更新发布」竟能给负责 ML 模型日常喂养与照料的团队制造大麻烦(部分细节为保护商业机密略去或模糊化)。六个案例依次是:Dialpad 在 ML 管线里兼顾隐私与数据保留策略、Google 持续 ML 模型被流量尖峰污染、Landing AI 用数据为中心方法把钢材缺陷检测做到 93%、Dialpad 为大型 NLP 模型建 staging 自助负载测试、Google 广告点击预测里「数据库标签」与现实脱节、以及 Dialpad 度量 ML 工作流中上下游模型依赖的回归测试平台。
本章导言与案例一背景:Dialpad 的 ASR 与隐私
作者交代写作动机:原则讲得再清楚,也不如一线故事能显示它们在真实世界里如何发挥作用;六个案例全部由经历者本人撰写,读者能看到他们面对什么、如何应对、学到什么、下次会怎么改。章首还埋了一个贯穿全章的观察——负载测试这种看似简单的事、或另一个完全不相干的移动应用发布更新,都可能让照料 ML 系统的人头疼。案例一来自 Dialpad 的 Riqiang Wang:ASR(自动语音识别)团队负责端到端语音转写系统,为全球客户的 Dialpad AI 各功能生成实时转录;AI 系统的多个子组件 heavily 依赖 ASR 输出做进一步预测,因此转录里的任何错误都会传播到下游 NLP 任务(实时辅助、命名实体识别等),团队因而持续改进 ASR 模型。2020 年系统对典型北美方言准确率很高,但基准测试与零散反馈都显示其它方言常被转错;随着业务扩展到英国、澳大利亚、新西兰等主要英语国家,至少要达到北美方言已设定的水平。作者还说明用词:主要用 dialects 而非 accents,因为差异不止口音,还在词汇、短语表达乃至语法(纽约与新西兰方言即如此),希望 ASR 更包容地覆盖这些层面。见 六案例导言 与 ASR 错误传播与隐私中心。
挑战一:到底该按哪些方言采样
为提升特定方言(乃至北美内部众多方言)的准确率,团队试过迁移学习实验与专用词典,但单靠这些并不够;而「隐私是 Dialpad 一切工作的中心」也是现代 ML 生态普遍的难题,本案例讲的就是在部署多方言模型同时尊重用户隐私时遇到的两个挑战及解法。挑战一是「哪些方言」:为驱动各种 AI 功能,训练需要海量数据,因此 Dialects 管线必须做隐私适配——与通话相关的元数据尽量少留,出于隐私原因也会在需要时删除通话;可要训出好的方言模型,又想知道哪些用户说英式、澳式或其它方言,以便按方言分别采样,于是希望元数据「尽可能多」。这个矛盾很尖锐。团队先想过让人工转写员标注每通电话的口音,但很快意识到关键难点:没有亲身经验极难准确定位口音,尤其对非母语者——他们更可能具有 idiolect(个人独特的说话方式)而非某种方言。又想过让用户自报方言,但这种分类显然引发数据隐私问题,反而与「包容性」这个初衷相悖。两条路都被堵死,才逼出后面那个漂亮的转向。见 方言采样与隐私的两难 与 口音标注与自报都不成立。
解法:取消「方言」概念,用置信度找欠代表数据
最终的洞见是:不管某个用户说什么方言,团队真正想要的只是「让模型在它当下吃力的语音上表现更好」。ASR 模型之所以在北美方言上表现好,是因为一直喂给它北美语音;那么同样可以用「加入欠采样数据」来改进现有模型,构建一个对方言无感(agnostic)的模型。做法极简:只去拿更多「模型当前做得差」的数据,用模型自身的置信度度量来筛选;人工转写这些代表性不足的数据,再把它与原训练集一起训出新模型。几轮调优与评估后,ASR 模型在人工精心整理的代表性不足方言测试集上明显变好,而训练技术与模型架构一点没改;更值得注意的是,这批额外方言数据只占原训练集极小一部分,却带来显著性能差异。作者由此提炼两条:数据采集里「刻意」与「多样性」极其重要;当真实多样性难以度量时,可以用置信度/不确定性度量作为伪多样性指标来指导采集。这是用模型自身信号绕开隐私敏感元数据的典型手法。见 取消方言概念 与 置信度作为伪多样性度量。
挑战二:与时钟赛跑——数据保留如何破坏可复现性
Dialpad 把「免付费、可定制的数据保留策略」作为标准提供给所有客户:客户可以随时要求删除自己的数据,也可约定新数据只在特定时段内可用。这些是很大的隐私胜利,却要求整个 ASR 系统在模型测试与实验上付出同等大的巧思,尤其 Dialects 管线含音频采集、转写、数据准备、实验、最终生产化多步,合起来可能横跨多个季度——比部分采集数据的寿命还长。结果是训练集与测试集并非恒定,实验结果难以复现,有时导致训练与新改进上线被延误。在新 Dialects 模型发布后期,它在多个测试集上表现良好,却在某一个测试集上、经多次内部试验都显著差于半年前上线的生产模型;部署因此被叫停。团队用多种方法排查:从头重训新模型、检查数据划分(此前曾有过训练/测试误划分的教训)、还想用同样流程复现生产模型的结果,但 11 个月后受保留策略约束的数据已开始过期,精确训练集不复存在,复现只得到不确定结论。真正解开差异的关键洞见是:那个在测试集上表现好的旧模型,正是「从生产取数据造测试集」时正在使用的模型;而人工转写员是通过编辑生产模型的转录来生成测试集参考转录的,所以该测试集的参考转录偏向旧模型的输出。受任意数据保留制度影响的数据具有瞬时性,又让「为代表性不足数据建并维护足够语料」难上加难,因此团队永远无法百分之百确认。见 数据保留与客户删除权 与 测试集偏向旧模型输出。
案例一的解法与要点:多样性、专门数据团队、放弃取舍叙事
团队把这段经历看作「把对数据隐私目标的尊重」与「可复现研发的严谨」整合起来的一步。项目结束时成立了一个单独的专门数据团队,承接 ASR/NLP 团队的数据任务,重新定义整个数据采集与标注准备流程:标准化测试集创建,做出即便部分测试数据因保留策略被删除仍具备高可复现性的动态测试集——例如带时间型保留策略的数据不再纳入测试集,数据团队还通过回填处理人工删除,并监控测试集上性能指标随时间的变化;同时标准化训练数据采集,不再让每位 ASR 工程师自己写查询取数,而是向数据团队提交请求、由其按需提供结构化数据,并考虑(甚至规避)被标记待删除的数据。随着对人工标注管线准确性与完整性信心提升,团队还在探索大规模识别个人数据元素,以便用移除或 tokenize 代替整段删除转录——这条难走的路提示:隐私友好、数据最小化的技术反而可能换来更稳健的训练数据访问。要点有三:其一,训练数据里哪怕一点点多样性都会让模型更稳健,传统实践偏重数据量,而这里证明质量、尤其多样性不可替代,且可以借模型置信度在不窥探隐私的前提下获得;其二,用专门团队标准化数据集创建,能把稳健性、可复现性与效率一起「工程化」进管线;其三,作者明确主张放弃「隐私与效果必须取舍」的叙事——愿意付出努力当好数据管家,最终反而改善了对所需客户数据的获取,也让客户看到广泛参与训练集、被训练集代表的价值。见 专门数据团队与动态测试集 与 案例一要点。
案例二:持续 ML 模型被一次 App 更新拖入流量事故
Todd Phillips 讲 Google 多年前的一次事故(细节为保密而模糊)。涉事系统含一个持续 ML 模型:在搜索场景里预测某类结果的点击概率,并随新数据不断到来持续更新;数据来源包括 Web 浏览器与移动设备上的专门应用(背景见第 10 章)。某天,一个贡献了特别大流量的应用做了改进,代码里让设备在 App 更新后把最近一次查询重新发一遍,以确保结果是最新的;这次改进以一次性瞬时全量推送发到所有安装(作者戏称 issue A)。接下来一天半很精彩:每台设备收到更新就重发最近查询,造成巨大流量尖峰,但因为查询是自动发出的,并没有额外用户点击;这批「查询更多、点击没涨」的数据被送去给持续模型重训。又因一个无关问题(issue B)原推送被回滚,每台设备再退回旧版本、依协议又重发一次最近查询,制造第三轮重复查询与更多无点击数据。模型于是开心地在所有被污染数据上训练,学到「全世界点击率约为几小时前一半」的信号,服务预测随之偏低,触发大量告警。ops 团队找不到明显根因,因为 App 团队与模型团队分属大组织里完全不同的区域、彼此系统毫无可见性。见 持续模型与瞬时全量推送 与 重复查询污染与跨团队盲区。
案例二的收尾与要点:有时按兵不动更好
issue B 修好后 App 团队再次推送,又引发一轮设备更新与又一轮重复查询;此时 ops 已按下持续模型训练的停止键,于是「最新版本」恰好是被污染数据影响过的那个。消息传开后根因追到最近的 App 推送,但「App 更新为何改变模型预测」并不显然——「更新会导致重复查询」这一行为并未广为人知,而 App 侧知情者也没把它与持续模型的训练数据联系起来;于是大家猜测更新里另有 bug,决定把再更新回滚、观察几小时,而这次再回滚又制造了更多重复查询与污染数据。等回滚完成、观察数小时后,信息终于足够确认问题只出在「推送的做法」上。缓解出人意料地简单:停止对 App 做回滚与再更新,让持续 ML 系统自行 roll forward 追上世界的新状态;模型最终看到干净数据、点击率回到正常。要点极精炼:许多「尝试中的缓解动作」造成的伤害与好处相当,某种程度上还延长了影响期;回头看,若一开始就让模型滚过去,系统很可能比经历这一通抢修恢复得更平滑、更体面——有时候就是该稳住、让它滚过去。案例三转到 Landing AI 的 Ivan Zhou:制造业靠视觉检测发现钢卷生产中的关键缺陷,客户自研多年、生产模型只有 70%–80% 准确率,作者却快速原型出一个 93% 的新深度学习模型。见 停止反复推送、让模型 roll forward 与 钢材检测的以数据为中心转向。
案例三要点与案例四:NLP 模型的 staging 负载测试
钢材项目的目标是在客户热轧数据集里准确分类缺陷(热轧是钢卷生产管线的关键阶段);缺陷分布在 38 个类、很多类只有几百个样本,客户做了近 10 年、最佳只有 80%,其间请过多支 AI 团队,全都试图靠堆 SOTA 模型架构改进、无一成功。作者驻场后雇三名本地实习生标注:第一周几乎全花在学习缺陷类别、管理标注、复核标签;小批量给数据,每批完成就复核并反馈错误,不一次标完——首轮每类标 30%、找出所有歧义并处理,再标下一个 30%,两周共三轮;最终标了 18000 张图、丢弃 3000 多张认为混淆的。最耗时的是维护「缺陷共识」:38 类中许多类别对初看极相似,标注员容易混,必须不断讨论分歧、更新缺陷定义(如黑线、黑条、划痕三类的边界),极难辨认的样本要从训练集移除;此外还要保证目标检测的边界框紧且一致(如 roller iron sheet 类的密集孔洞, discontinuities 要分框,框太宽太松会在复核时被拒,否则会误导 loss)。要点:团队花在模型迭代上的时间不到 10%,每次训练后主要时间用于复核误判样本、找出错误根因、再回头清洗数据,两轮后测试集达 93%、错误率降 65%,远超基线与客户预期。案例四来自 Dialpad 的 Cheng Chen:AI 团队做实时转录格式化、情感检测、行动项抽取等 NLP 应用,2019 年 BERT 达 SOTA 后计划用它做标点恢复与日期/时间/货币检测;但为降云成本,实时生产环境资源极有限(无 GPU、很多模型最多一个 CPU),且推理硬上限是每 utterance 50 ms,而 BERT base 有 12 层 Transformer、1.1 亿参数。见 不到一成时间做模型迭代 与 BERT 与 50ms 硬约束。
案例四/五/六:基准贴近生产、标签忠于现实、依赖可回归
案例四里团队先做本地 profiling(对大量随机采样 utterance 跑推理、算平均时延),达标后交给 DE 团队在 GKE 做金丝雀发布并盯实时指标看板;但基于 BERT 的大模型常被 DE 发现延迟或排队时间显著上升而回滚——本地配置与实际生产模式不对齐(可能来自集群资源分配或流量模式),根子在于科学家没有合适应真正基准化推理的工具,反复手工部署回滚成本高,还有把表现不佳模型放进系统导致拥塞与停服的焦虑;临时办法是加一个 CPU 做推理,但显然需要更好的基准方法。转机是 DE 团队提议做「全面且自助」的 staging 负载测试工具:负载数据要含触发短语、混合不同 utterance 长度(偏长以逼近压力表现)、必须真正触发推理而不被缓存/优化短路、尽量贴近生产数据特征;提供音频端到端与文本单模型两种测试,科学家可自启测试、盯 Runtime 95th 看板(经验法则低于 1 秒达标,多数模型聚集在 0.5 秒以下),Datadog 提供逐模型分解,显著省掉快速迭代中的沟通开销,自动 staging 基准从此成为标准流程。案例五(Daniel Papasian,Google)讲广告点击预测:展示广告即在库里插一行,布尔列默认 false,点击由 click log 团队的「干净点击」feed 回填;模型用行做样本、用点击位做标签,靠 1% Bernoulli 留出的 test_set 位做验证。某个周一告警:广告展示率远低于正常,平均预测点击概率只有平时十分之一;库里 48 小时数据点击率却完全正常,验证系统当时也判定新模型 loss 更低,但重跑同一对模型却得出相反结论。真相是上游「干净点击」处理管线周三随一次软件发布坏掉,直到周一凌晨才补到——训练与测试集里所有事件都被当成未点击,模型忠实学到「广告糟糕、没人会点」;等 feed 追上后验证数据被重标,才解释后续复验仍失败,最终用修正数据重训解决。见 自助 staging 负载测试 与 标签反映现实与依赖回归。
跨章综合
把十五章连起来看,有三条贯穿全书的线,彼此不能拆开理解。
第一条是数据。第 2 章把数据管理立为原则(来源、血缘、版本、元数据),第 4 章讲特征与训练数据的具体实现,第 5 章讲如何在数据之上判断模型有效性;到了第 11 章三个事故故事里,真正的根因两次落在数据与元数据(日志馈送进程停摆使模型停更、伙伴键变更使抽取数据无法合并),第 15 章六个真实案例又反复印证——钢材检测靠标签共识而非新架构把准确率推到 93%,广告点击预测因上游「干净点击」feed 延迟而把标签整体学错,Dialpad 为多方言模型补的那一小撮欠代表数据带来显著收益。作者因此反复强调:ML 系统最常见的失效来自数据与元数据,且模型质量变化常常是唯一能暴露底层基础设施问题的端到端信号。
第二条是可靠性原则在生命周期各阶段的一致体现。训练(第 7 章)、服务(第 8 章)、监控(第 9 章)、持续 ML(第 10 章)看似四套工程,共享的却是同一套 SRE 手法:显式 SLO/SLI、渐进式发布与回滚、暗启动与影子流量、可观测的反馈回路、对「没有变化」这类异常的警觉。第 3 章区分模型架构 / 配置好的模型 / 训练好的模型,让排障能定位到「究竟哪一层变了」;第 6 章把公平、隐私、伦理前置为设计约束而非事后补救;第 11 章给出事件状态、角色、记录三要素与 FEMA 最小角色集,并点明 ML 事件的三条特殊之处(更常被用户先发现、影响与时间双向模糊、牵动组织范围不受边界约束);第 15 章案例二则用一个反讽收尾——许多抢修动作本身延长了故障,有时最有效的缓解是稳住、让模型 roll forward 自行追上新状态。
第三条是组织因素对技术成败的决定作用。第 12 章从产品侧说明敏捷为何不适配 ML、为何要先框定业务问题再判断要不要用 ML;第 13 章用 Galbraith 星型模型把战略、结构、流程、奖励、人员连成一张网,并立论「ML 天然是横向活动、别把它孤岛化」;第 14 章把集中式、去中心化、混合式三种结构逐一按流程/奖励/人员拆解,用「大购物车反而被弃购」说明局部指标与全局业务目标错位的代价;第 15 章案例五、六则显示,跨团队的数据依赖若无人验证(点击日志团队不知道自己是下游 ML 的数据依赖、ASR 词表变化悄悄改写 NLP 输入分布),技术再正确也会被组织边界拖垮。三章合起来正是第 11 章结论的组织版:模型是世界与计算机系统之间的接口,故障源于世界、系统的表征能力、系统改造世界的能力三者失配,因此模型与数据质量必须成为全组织的使命。
阅读与实践上,建议把第 11 章的三个事故故事当作全书压力测试:每读到一个阶段(前置条件、触发、检测、排障、缓解、解决、复盘),回头去找前面哪一章本该提供对应的监控或护栏。本书不要求执行完整实践,阶段 2 只交付两份实践计划(见概览「实践卡进度」表与 ideas 目录下的行内文件),分别对应「为一条 ML 管线补齐端到端质量与新鲜度监控」和「为一次模型发布设计跨团队评审与去风险测试流程」;两篇均只写目标、依据、路径、行动计划与验证方式,不声称已执行。
(跨章综合收束于 ch01–ch15 全文通读之后;本节不含卡片链接,卡片引用见各章正文与 card_locations。)
封面尾记(整理章号16)
封面动物是蜜罐蚁。尾记解释一类储粮工蚁用腹部保存液体,在缺粮时供其他工蚁取用,同时因腹部膨大而行动不便;详见蜜罐蚁以工蚁储粮。这是一条有独立解释的自然科学知识,不是作者对机器学习架构的隐喻。其余内容说明封面图源、设计者与排版字体,属于制作信息,已读但不独立成卡。