此笔记位置已失效,请从目录继续阅读。
全书导读
本书回答一个贯穿开发与运营的问题:如何把一个能生成内容的基础模型,变成真正完成用户任务的应用。基础模型提供通用能力,工程工作则决定提供什么信息、允许什么动作、怎样确认结果以及如何承担运行成本。读者无需把每种模型和框架都学完才开始,但必须能把演示效果转化为可重复的证据。
全书适合应用开发者、机器学习工程师和参与技术决策的产品人员。第二章解释必要的模型背景,第三、四章建立评估语言;后续章节分别讨论输入适配、信息与工具、权重适配、数据、性能以及系统反馈。阅读时应围绕一个真实任务反复追问:失败是什么,依据在哪里,这项改动改善了哪一种失败?书中历史产品、价格和基准数值保留其时间边界;具体版本与许可须另行核对。
全书主线
全书从应用价值出发,再把价值拆成质量、延迟、成本及风险条件。基础模型以概率规律生成输出,这解释了它为何能通用适配,也解释了为什么流畅回答不能直接作为正确性证明。于是评估先于复杂优化:先定义任务和失败,再建立可重复的样本、评分准则与比较协议。
适配有三种相互补充的对象。提示工程调整指令和示例;RAG向模型提供查询相关资料,智能体通过工具取得信息或执行动作;微调则改变参数,使某种行为更稳定。它们没有必须依次升级的关系,应由失败原因决定采用哪一种。数据集工程为训练与评估提供可信样本,推理优化让已验证的能力符合运行预算。最终,架构把这些部分连接起来,观测和用户反馈把新失败带回下一轮评估,形成持续改进的闭环。
译者序
工具、接口和模型会快速变化,译者强调应学习RAG为什么有效、提示如何作用、工程如何权衡等耐久问题。AI工程在这里被界定为基于基础模型构建应用的过程,不是快速搭建演示的代称。理解全流程能帮助开发、管理和产品角色建立共同语言。译者也说明初稿有AI辅助翻译,后续经过人工审校;这项背景不能代替对具体术语与证据的核验。
进一步阅读:机制比工具耐久。
原书依据 · 1 处
中文版序
中文版序把评估、数据和推理优化作为持续重要的问题,并提醒一本书无法成为整个领域的完备参考。阅读提供基础,真正的进阶仍需亲手构建、持续度量并从真实系统中获得反馈。关于岗位和行业增长的陈述属于序言的时间语境,本笔记不将其外推为当前统计。
前言
基础模型的小幅性能提升,可能解锁许多应用,同时降低开发入口的门槛。新应用仍依赖传统的语言建模、检索和机器学习工程经验:系统实验、严格评估和速度成本优化没有失去价值。但规模与能力变化也引入新问题,因此需要同时辨认可复用的工程原则和新增约束。
适配应用时,可以分别改变指令、上下文和模型。提示工程引导行为,RAG与智能体组织需要的信息及工具,微调调整模型参数;这些只是前言建立的路线,具体机制留待相应正文讲解。应用评估贯穿选择和优化,不能等到所有实现完成才判断有没有价值。数据质量、推理效率以及用户反馈把单次调用连接成长期运行的产品。
与《机器学习系统设计》相比,本书更集中于基础模型适配,而前者更多讨论传统模型的数据、特征工程和训练。现实系统可能同时需要两类知识。本书取材时区分根本约束与暂时现象,从简单方案进入复杂方案,并参考专家意见和林迪定律;这些是知识选择的线索,不能保证任何具体工具一直有效。前言余下部分说明排版、配套代码、出版联系与致谢,不额外扩展为技术卡片。
基于基础模型构建AI应用入门
语言模型把文本中的统计规律编码成可预测下一个token的能力。token与词表共同决定模型如何拆分和表示输入:子词在字符粒度与整词词表之间取得平衡,不能把token固定换算成某种语言的字数。掩码模型利用缺失位置两侧信息,自回归模型只依据前序信息逐步生成;生成的开放性来自有限词表的组合,概率补全并非事实保证,也不会天然变成符合意图的对话。
自监督利用文本本身构造预测标签,绕过逐样本人工标注的主要瓶颈。开始、结束标记也是训练目标的一部分。规模增加带来更大学习容量,需要更多合适数据才能发挥,但“大模型”没有固定参数门槛,也不意味着在任一小数据集上更好。基础模型进一步把文本能力扩展到多模态输入和跨任务适配;CLIP以图文对学习共同向量表示,属于嵌入而非开放式生成模型。
进一步阅读:模型服务降低入口;语言模型编码统计规律;token与词表共同约束;掩码与自回归上下文;补全不等于对话;自监督从输入构造标签;序列边界也是训练目标;参数规模不是固定门槛;容量需要匹配训练数据;多模态联合使用输入;基础模型面向通用适配;CLIP学习图文共同表示。
基础模型降低了适配成本,专用模型却仍可能在速度和成本上占优,因此选型不能只按技术潮流决定。应用普及来自能力、投资与开发入口共同变化,但书中的历史财报与股价图只显示相关,不能证明AI投入导致增长。劳动研究的“受影响”也有特定任务时间定义,不能翻译成岗位替代率。
应用调查同样受样本约束:开源仓库中某类工具占比低,不代表企业市场不需要它。产品可以主动限定为易评估的分类任务,让通用模型服务封闭目标。编程工具的价值随任务复杂度变化;创意素材和写作辅助则常通过多版本迭代、人选择或修改发挥作用,不能把局部提效视为完整工作自动化。
进一步阅读:通用适配与专用模型;普及由供需共同推动;提及AI不证明增长原因;任务受影响不等于替代;开源样本有选择偏差;封闭任务便于控风险;编程增益随任务变化;创意生成用于迭代选择;写作建议保留人选择。
写作能力也会被用于低质内容农场;低生成成本不等于可信内容。教育场景的价值可以是适配材料、练习和反馈,而不是替学习者完成作业。聊天与游戏角色提供交互入口,信息聚合与结构化提取则把原文连接到检索和待办工作。智能体进一步规划并使用工具,完成文字回答之外的动作,因此也需要相应权限。
规划产品先明确业务动机和自建必要性,再分析AI与人的角色。核心或辅助、主动或被动、持续个性化或共享定期更新,会改变可靠性、延迟和维护要求。人在回路可逐步分配决策权,而不是一次把所有请求交给模型。产品防御性也不能只靠补上基础模型的临时短板;持续使用反馈所形成的数据改进,才可能带来长期差异。
进一步阅读:内容农场放大低质信息;个性化材料支持学习;智能NPC突破脚本对话;聚合信息接入后续行动;非结构化数据变可检索;智能体规划并调用工具;按业务动机判断自建;关键与辅助决定容错;主动功能更怕打扰;动态功能持续适配用户;人在回路分配决策权;数据飞轮需要使用反馈;补模型短板的功能会失效。
规划应用要把业务收益与实用性门槛分别写清。客服回复数量、成本与满意度可能不一致;TTFT、TPOT和总延迟也衡量不同等待体验。初始模型能力决定需要弥补多大的差距,演示快速成功不能证明最后一公里容易。成本、供应商、监管与数据权限都会变化,因此版本与评估基础设施属于维护计划。
技术栈可分为应用、模型和基础设施三层。利用已有模型让工作更偏向适配和评估,开放输出又增加了标注和正确性判断的困难。适配可先区分是否训练权重:提示提供指令和上下文,微调从已有权重继续训练;预训练、后训练描述不同阶段与实践语境。量化虽改变数值却通常不叫训练,输入一些私人材料也不等于微调。
自回归输出把每token耗时累积为生成等待,推理优化因此重要。评估则贯穿选择到运营,比较模型必须对齐协议。原书把CoT@32解释成32个展示示例过于简化:官方Gemini报告说明其使用含32次采样的不确定性路由思维链,不能与5-shot的示例数混为一谈。界面设计决定用户怎样交互与提供反馈,快速产品迭代可帮助确定下一步数据和模型投入。
进一步阅读:业务收益不等于模型指标;首字延迟与生成速度;最后一公里改进更难;模型升级也需要维护;AI工程栈的三层职责;适配先看是否更新权重;训练阶段继承不同起点;改权重不一定是训练;数据工程随输出开放变化;逐token生成累积延迟;开放回答不能穷举答案;模型比较要对齐协议;AI界面也是反馈入口;先用产品验证再投模型。
原书依据 · 48 处
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
理解基础模型
了解基础模型首先看训练数据的分布,而不只是模型名称和参数。容易获取的网页数据使规模训练成为可能,也可能带来低质量和偏见;经过清理的C4仍需面向任务检查。高质量小数据与大量杂乱数据的比较,说明规模不应替代质量判断。
多语言能力尤其受语料代表性影响:语言使用者比例与网络语料比例可能严重不匹配。把查询翻译成英语再翻回去仍依赖原语言理解,并可能丢失关系和文化信息。评估也要覆盖目标语言的任务和安全表现,不能把某种语言的历史小样本结果外推为所有场景。
进一步阅读:训练数据限定能力范围;易取得不等于适合训练;C4并非原始网页全集;低资源是训练代表不足;翻译中转可能丢关系;语言评估不能只测英语。
多语言差异还会通过分词传导到成本与生成等待,必须限定模型和任务条件。专业领域的数据格式、可获得性及隐私也不同于日常文本;模型能谈论某领域,不代表能执行其中的专业任务。基准表现与数据分布只反映已观察范围,还要核对遗漏的任务。
基本seq2seq把输入压缩为最终隐藏状态,循环递推既带来表达瓶颈,也带来梯度与并行约束。注意力允许输出按需访问前序内容,Transformer取消输入端的循环依赖;但自回归输出仍逐步生成。Q与K的匹配形成权重,再组合V,多头把不同子空间的关注结果拼回。嵌入、注意力与MLP模块、输出概率层共同构成模型。长上下文会增加KV存储与计算,不能只看标称窗口。
RWKV、状态空间模型、Mamba与Jamba探索不同的长序列与计算折中。理论长度、实验表现及工程成熟度必须分开比较;某个模型在某组基准上胜出,不意味着替代架构在全部任务上必然更好。
进一步阅读:分词效率影响多语成本;领域数据不同于日常问答;基准只显现部分领域;AlphaFold依赖结构数据;seq2seq的压缩瓶颈;循环传播影响梯度稳定;注意力解开固定摘要;预填充并行解码串行;QKV按需求取信息;多头注意力分视角组合;长上下文增加KV负担;激活函数打破线性叠加;Transformer模块分工;替代架构也要比工程条件;RWKV无上限不等于会记;SSM探索长序列计算;Mamba用选择状态扩展;Jamba混合两种层结构。
模型规模同时涉及参数、训练token和计算量。参数量能给出权重空间的粗下限,但代际改进、权重稀疏及混合专家激活方式都会影响实际成本,不能只按总参数排序。数据样本还受长度影响,训练token会包含多个epoch的重复处理,不等同于独立数据量。FLOPs是运算总量、FLOP/s是速率,估算训练时间必须说明实际利用率,不能当成一直满峰值。
算力最优先给定预算再平衡模型和数据;Chinchilla的经验比例有其稠密模型和数据前提。实际服务还要算推理成本,较小模型可能有更强部署实用性。达到同样能力越来越便宜,与进一步提高能力依然昂贵,可以同时成立。大模型试错成本推动从小模型外推超参数,但任务差异、配置交互与尺度变化限制这种推断。研究逆向规模也须保留小测试与真实任务的复现边界。
规模扩展还面临数据供给和电力等约束。公开网页可能进入训练集,事后删除不等于模型已经忘记;这是数据生命周期和遗忘研究的问题,不应被误写成现成可靠的删除方法。
进一步阅读:参数量不能跨代定优劣;权重内存只是下限;稀疏与激活参数要分清;混合专家按token选择;样本数受文本长度影响;训练token包含重复遍历;FLOPs与FLOP每秒不同;峰值不能直接算工期;算力最优先给定预算;算力最优的数据平衡;训练最优未必部署最优;进步降成本不代表升级便宜;超参数与学得参数不同;规模外推迁移训练配置;逆向规模需核验任务范围;删网页不等于模型遗忘。
扩展训练还要面对数据许可、合成内容进入语料和电力供给等条件。删除公开网页不意味着模型遗忘,递归使用合成数据也需按生成与筛选方式检验,不能简单视为总能增益或必然退化。
后训练把“准确续写token”转向“给出用户更合适的完整回应”。监督微调使用提示—回答示范来克隆行为,示范内容需要任务覆盖与有能力的标注者。偏好微调进一步处理不同回应之间的选择,但人群和文化可能不一致,不能把人类偏好当作天然统一。
RLHF先训练奖励模型,再利用它的反馈优化生成模型。成对比较相对绝对打分更易组织,排序还可以拆成多对比较;这些数据依然带有标注者选择与不一致性。奖励损失从分差学习相对偏好,并不把分数变成真实性证明。也可以不继续训练生成模型,直接通过Best of N在多个候选中选择;这把部分优化转移到使用阶段的采样与评分。
进一步阅读:合成数据循环要检验;数据可得性包含许可;电力约束限制算力扩展;后训练关注整体响应;监督微调克隆示范行为;示范质量依赖标注能力;偏好对齐没有单一人群;RLHF分评分与生成优化;成对比较减轻打分分歧;排序可拆成偏好对;奖励分差学习相对偏好;评判与生成难度不同;BestofN可只在输出端选。
模型先产生logit,再转换成概率用于采样。温度改变分布集中程度,top-k限制候选个数,top-p限制累计概率质量;这些设置改变生成倾向,不提供事实保证。对数概率便于数值计算,但仍不同于事实置信度。停止条件还可能截断句子或结构,长度成本与输出完整性要一起验证。
推理时计算增加候选,再由模型分数、奖励、验证器、规则或人进行选择。序列概率来自条件概率连乘,平均对数分减轻短文本偏好;自洽性则聚合多次求解的最终答案。三者目标不同,不能混用。更多候选可能帮助发现好答案,也可能让评分器更容易被高分错误输出欺骗,因此收益、成本与选择器可靠性须共同评估。
结构化输出把模型结果接到机器流程中。提示、后处理、重复生成、约束采样和微调分别在不同位置施加约束;格式已经接近正确时的小修补,与按语法逐token过滤,是不同机制。分类头可限制输出集合,合法JSON或合法类别却仍可能内容错误。
概率性带来不一致性,但幻觉不能只归因于随机采样。固定种子和参数便于复现,硬件与数值环境仍可能影响结果;输入扰动稳健性也须另测。滚雪球式自我扩展和示范知识不匹配是原书讨论的两种互补假设。偏好对齐与事实正确性不总同向,引用核验、允许不知道以及评估流水线仍然必要。
进一步阅读:概率来自归一化分数;温度重塑采样分布;对数概率便于计算;topk固定候选数量;topp按累计概率截断;停止条件影响完整格式;推理时计算换取候选;集束搜索逐步留候选;序列概率是条件连乘;长度归一改变选择偏好;更多候选可能骗过验证器;自洽性聚合最终答案;语义解析输出机器表示;结构可解析不代表内容对;后处理只修可辨小错;约束采样过滤无效token;分类头限定输出集合;不一致有两种来源表现;固定种子不等于完全确定;滚雪球幻觉自我扩展;示范知识可能超过模型;偏好改善不保证事实改善。
原书依据 · 75 处
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
评估方法论
评估是用明确规则观察系统是否满足要求。语言模型的交叉熵衡量真实后续token获得的概率,困惑度是相应平均不确定性的另一种表达;它们适合比较语言预测,却不能替代应用正确率。功能正确性直接检查结果是否实现任务,例如代码能否通过约定测试。参考答案相似度则比较词语或语义接近程度:一个回答可以与参考很像却复制了错误,也可以表述不同而事实正确。
开放式回答难以枚举全部正确答案,因此需要人工或AI裁判按评分准则判断。AI裁判是让另一个模型执行评估任务,它同样会受提示、顺序、长度和自身知识限制影响;应先与可信标注校准,并记录分歧。成对比较降低单次评分难度,却只说明相对偏好;参与者、配对和排名模型共同影响榜单。把多种指标放在一起,目的是回答不同问题,而非将不相容的数字混成一个看似客观的总分。
本章先把评估放回系统风险和失效链路,再区分数据分布的语言建模指标与直接任务结果。交叉熵、困惑度及BPC/BPB需要统一单位和计算协议;功能正确性更贴近最终目标,参考答案匹配则受覆盖和匹配规则限制。
进一步阅读:评估从系统失效环节开始;复杂输出需要领域核查;基准饱和要求更新测量;黑盒模型更依赖输出试验;熵描述数据本身的可预测性;交叉熵分解为数据熵与分布差异;比较压缩指标先统一分词和单位;困惑度是交叉熵的指数;困惑度比较必须控制计算协议;后训练任务质量与困惑度可能背离;低困惑度只能提示训练污染;困惑度需逐词元概率;功能正确性优先测任务结果;采样次数影响通过率;参考评估受标准答案覆盖限制;答案子串匹配可能奖励错误陈述。
文本相似度分为字面编辑与重叠、以及嵌入空间中的语义比较。共同嵌入还能连接图像与文本。AI裁判则把评估转成一个新的AI系统:需要明确标准、评分锚点、版本和校准,并分别检查一致性、准确性、成本与延迟。
进一步阅读:词汇重叠不代表功能正确;编辑距离依赖允许的操作;语义相似度同时依赖表示与度量;余弦相似度测量向量方向;嵌入质量要用目标任务验证;跨模态检索依靠共同表示空间;AI裁判适合灵活标准但需要校准;裁判提示词必须定义评分锚点;裁判版本是评估协议的一部分;评分一致不等于评分准确;同名评估指标也可能不可比较;在线裁判在风险成本与延迟间取舍。
比较评估更容易收集相对偏好,却必须分清偏好与正确性。由对局生成的排名是一种预测,受采样分布、传递性假设和评估者质量限制;最终模型选型仍要回答是否达到应用要求,以及性能收益是否值得成本。
进一步阅读:裁判偏差要通过受控交换检测;自我批评适合检查但不是独立证据;选择裁判看专项能力而非只看规模;专用裁判的输入决定评估任务;偏好信号不能替代事实正确性;同时比较候选与AB测试不同;模型排名是对未来对局的预测;比较评估受模型对数量增长限制;偏好传递性是需要验证的假设;排名受评估分布限制;相对胜率不能给出绝对业务收益。
原书依据 · 39 处
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
评估AI系统
评估AI系统首先明确成功是什么。生成内容是否正确、是否遵循指令、是否符合指定风格,以及是否含有有害内容,属于不同维度,需要不同案例和判据。事实性判断又要区分答案陈述是否真实,以及它是否由提供的资料支持:一段没有出现在检索资料中的常识可能真实,但不满足“只依据资料回答”的任务要求。拒答也有两面,危险请求被拒是成功,正常请求被误拒则是失败。
模型选择先检查上下文、部署、数据处理和许可等硬条件,再以公开基准缩小范围,最后使用本应用样本比较。通用排行榜不能代表目标用户和语言。评估数据需要覆盖典型、困难、边界和失效情形,并保持训练与验收独立。评分指南解释哪些输出可以接受,人工分歧则暴露标准含糊或任务本身不确定。版本化数据、提示、模型配置和裁判,才能判断分数变化来自改进还是测量改变。组件评估用于定位,端到端评估用于确认用户任务,两者不可互相代替。
第四章把评估方法落实到应用开发:先定义价值与验收标准,再分别测领域能力、生成质量、指令遵循和运行成本。事实核查尤其需要区分局部忠实与全局正确,并把长文本拆为可检索验证的陈述;无法由证据判断时应明确保留未知。
进一步阅读:评估驱动开发先定义价值证据;应用评估需要四类标准;功能正确还要能高效维护;选择题能力不等于生成能力;局部忠实与全局正确需要分开;事实核查先解决证据可信度;幻觉测试要覆盖薄弱查询;多次回答一致不能独立证明真实;长回答核查先拆成独立陈述;文本蕴含保留证据不足这一类;内容风险检测应按类别和语言验证。
指令评估应把复合需求拆成可检测条件;角色任务还要检查知识边界。选型同时考虑质量、成本与延迟,先明确不能妥协的条件,再经历公开筛选、应用内验证和生产监控。不同部署方式决定了哪些属性真正可调。
进一步阅读:指令失败需要区分能力与提示问题;把复合指令拆成可验证标准;角色评估含知识边界;多目标选型先排除硬性不达标;延迟指标必须对应用户体验环节;自托管成本取决于容量利用率;部署决定属性可改性;模型筛选从硬条件走向应用内证据。
模型与推理服务、开放权重与开放数据、技术能力与许可权限都要分别判断。API和自托管是多维取舍,不能仅按单次调用价格决定。公开排行榜进一步压缩了任务集合,因此只能帮助筛选候选,不能替代应用评估。
进一步阅读:权重开放与数据开放是不同维度;模型可下载不等于用途无限制;同一模型换服务提供商也要验证;部署方案要按数据流与控制权评估;开放不消除溯源风险;模型API功能边界影响后续适配;外部模型依赖需要版本和替换策略;排行榜覆盖取决于所选任务。
本章最后把选型变成持续评估流程:检查公开分数的权重与污染,再测端到端、组件、单轮和完整任务。通过清晰指南、业务阈值、数据切片和不确定性估计建立可用信号,并持续验证评估器本身。
进一步阅读:聚合基准成绩会隐含能力权重;基准污染可能来自共同数据源;去污染受数据可见性限制;组件与端到端评估互补;任务完成度比单轮好看更接近价值;评估指南也要定义越界处理;业务阈值需要用实际收益校准;分层评估可平衡成本与信号质量;评估切片揭示总体分数掩盖的问题;辛普森悖论来自分组权重差异;自助抽样检查评估集的不确定性;检测细小改进需要更多评估样本;评估流水线也需要被评估;评估迭代必须保留实验可比性。
原书依据 · 41 处
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
提示工程
提示工程是通过模型输入说明任务和提供工作条件。明确的目标、约束、输出格式与示例,可以减少模型对意图的猜测;示例还会隐含类别分布、风格和推理方式,因此质量与代表性比单纯增加数量更重要。上下文窗口只是可接收容量,模型未必同样利用每个位置的信息。把所有材料塞入窗口,可能增加干扰、费用与遗漏风险。
复杂任务可以拆成若干可验证的步骤,让每一步产生下一步所需的结果;但拆分会增加调用、延迟和中间错误传播,应与单次提示比较。提示变更需保存版本并用稳定样本回归,否则一个看似更好的例子可能掩盖其他任务退化。提示优化工具也必须依赖可信目标,不能从提示本身推断效果。
提示中的角色标签和分隔符有助于组织信息,却不是权限隔离。外部网页、检索文本和用户上传资料都可能包含试图改变任务的指令。防护应把这些内容视为待处理数据,并通过工具权限、敏感信息处理、输出检查与行动确认限制实际影响。模型是否听话与系统允许它造成什么后果,是相互关联但不同的问题。
提示工程是不改权重的输入适配,需要与其他工程实验一样评估。任务、示例和输入应清楚组织,模型聊天模板必须匹配;长窗口容量不代表均匀利用能力。清晰指令、有效上下文与合适任务拆分提供可测的改进路径。
进一步阅读:提示工程实验需要系统化评估;提示词由任务示例与具体输入组成;提示鲁棒性通过等价扰动测量;上下文学习不更新模型权重;少样本数量要按收益和成本选择;聊天模板与应用提示模板职责不同;系统角色优先级来自训练和协议;容量不等于有效利用;上下文测试要排除模型已有记忆;清晰指令把默认假设变成明确约束;输入结束标记帮助确定生成边界;限制知识来源不能只依靠一句提示;任务拆分需要衡量误差成本与延迟。
提示链可提高可观察性,自动优化可扩大搜索,但都需要端到端评估与调用预算。提示目录应管理版本和依赖。上线后要把提示提取、行为绕过和工具滥用纳入风险模型,不能把秘密或授权只放在自然语言指令里。
进一步阅读:拆分提示使中间步骤可观察;更多推理步骤需要验证收益与预算;局部提示改进可能损害端到端效果;自动提示优化本质上是指标搜索;提示工具的隐藏调用也要计入成本;提示目录保存版本依赖;系统提示词不应承担秘密存储职责;提示攻击风险随工具权限放大;越狱与注入要按越过的边界理解。
本章收束到可信边界:外部资料是数据,不能自行授予新权限;提示词和训练约束需要系统层授权与隔离补充。防御效果同时看违规和误拒,信息提取与复述检测还需明确各自的覆盖范围。
进一步阅读:外部检索资料可能携带指令注入;数据提取风险不只来自明确索取;逐字复述检测存在覆盖边界;安全评估同时测违规与误拒;防御指令注入需要多个层次;生成代码的执行需要隔离边界;高影响工具操作需要独立授权;输入输出与使用模式共同检测异常。
RAG与智能体
检索增强生成(RAG)先寻找与查询有关的资料,再把资料交给生成模型。检索解决“哪些信息应该进入上下文”,生成解决“如何依据这些信息回答”。词法检索利用词项匹配与稀有程度,语义检索把查询和文档变成向量并比较接近程度;两者擅长的情形不同,混合检索可以互补。向量索引以近似方法减少全量比较,速度、内存和召回之间需要权衡。
文档切分决定检索的基本单位:块太小可能丢掉定义与上下文,太大则混入无关内容。查询改写、候选重排及上下文组装分别影响候选覆盖、排序和模型实际看到的信息。定位失败时,应先检查资料是否存在、是否被找回、是否进入最终提示,最后再检查模型是否正确使用。只看最后答案无法区分这些原因。
智能体把模型与可调用工具连接,让它根据任务选择动作并利用结果继续工作。工具描述、参数、返回值与环境状态决定模型能否有效行动;会生成计划不等于计划可执行。多步流程还会累积错误,因此必须定义完成证据、终止条件和权限。记忆用于在有限上下文中保留相关状态,也可能保存过期或错误信息,需要与外部事实区分。
RAG将知识选择拆成索引、检索与生成。词项方法用字面证据,语义方法用嵌入空间,各有盲区;ANN还增加了近似搜索误差。评估要把近邻召回、文档相关性和最终答案分别测量,并计算完整维护成本。
进一步阅读:RAG为每个查询构建相关上下文;长上下文不会自动消除检索价值;RAG包含离线索引与在线查询;词频与稀有度加权;倒排索引从词项找到文档;词项检索需要处理分词与长度偏差;语义检索需要兼容的向量表示;近似近邻用精度交换搜索效率;向量索引结构决定不同的搜索取舍;关键词和语义检索具有互补盲区;上下文精度与召回有别;近邻相关不保证答对;向量检索成本包含更新与索引维护。
检索优化关注候选覆盖、切块语境、排序与查询意图;图像和表格需要适合其模态的处理链路。智能体进一步使用环境反馈和工具完成任务,其可靠性取决于动作选择、参数与长链错误控制,而非工具数量本身。
进一步阅读:混合检索可串行筛选也可并行融合;倒数排名融合异尺度结果;切块保留语义与预算;块大小权衡语境与粒度;重排序只能优化已有候选;查询改写需要补齐指代但不能编造;为块补充定位语境改善可检索性;多模态检索的两条路径;表格问答区分执行与生成;智能体由环境动作与反馈定义;长操作链累积步骤误差;工具库更大不代表更易完成任务;用确定性工具弥补模型专项弱点。
智能体通过规划、执行和观察推进任务,但可执行性、参数语义、工具结果与完成判断都可能单独失败。分层规划、外部验证和有依据的技能复用有助于控制复杂度;记忆管理则在有限上下文与可检索长期信息之间维护关键状态。
进一步阅读:规划应考虑动作代价与候选规模;计划生成验证与执行应解耦;计划能力需要状态预测与搜索支持;工具调用格式有效不保证参数正确;分层规划平衡抽象与执行;智能体控制流必须遵守真实依赖;行动反馈依赖外部结果;工具消融检验实际价值;可复用技能应以成功执行证据入库;智能体故障要区分规划工具与效率;完成判断本身也可能失败;工具测试需独立于规划测试;记忆的三种存储层次;记忆配置要共享上下文总预算;先进先出可能丢失约束;记忆摘要需要补回遗漏并处理冲突。
原书依据 · 42 处
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
微调
微调是在已有模型权重上继续训练,使输出更符合特定行为或任务。它需要足够好的训练示例和可验证目标;若问题只是缺少不断更新的资料,检索通常比把每次更新写入权重更容易维护。是否微调,应由评估发现的稳定缺口、数据可得性和全生命周期成本决定。训练分数上升仍可能伴随其他能力退化。
训练的内存不只有模型权重,还包括激活、梯度和优化器状态。量化降低数值表示开销,重计算以额外计算换取激活内存,梯度累积则用多次小批次近似更大批次的更新;它们降低的是不同成本,不能互换。参数高效微调只训练较小的适配参数,降低保存和切换任务的负担。
LoRA把权重增量表示为两个低秩矩阵的乘积,原始权重可保持冻结。它学习的是增量,不是把原始权重直接分解后替换。秩影响表达能力与适配开销,量化基础模型再训练适配器则需处理量化误差和训练数值条件。多个适配器或模型合并可能组合能力,也可能相互干扰;最终需要分别测试目标任务和应保留的通用能力。
微调用已有基座提高目标任务的样本效率,但需要数据、训练、部署及持续维护。先按信息缺失和行为偏差诊断问题,再与提示、缓存和RAG比较。进入资源设计时,应区分权重、可训练参数和完整训练内存。
进一步阅读:微调通过已有能力提高样本效率;预训练与指令训练信号有别;微调范围可以是全部或部分参数;微调不保证新增知识可靠;专项微调要检查其他任务退化;微调成本包括持续维护;通用模型也可能胜过领域专用模型;微调与检索选择先看失效原因;模型适配从简单可评估方案递进;重复示例比较训练与缓存;权重内存按参数字节估算;推理与训练的低精度容忍度不同。
训练资源要按权重、激活、梯度和优化器状态分账。低精度、激活重计算与PEFT分别作用于不同开销;浮点动态范围和有效精度不可混为一谈。软提示则把输入适配本身转成可训练连续向量。
进一步阅读:反向传播求梯度优化器决定更新;训练显存需要逐类预算;激活与缓存无固定比例;激活重计算以额外计算换内存;浮点数范围与精度是不同资源;低精度部署要验证质量和实际速度;训练前后量化的区别;混合精度保留敏感计算的稳定性;高效微调仍需基座权重;软提示是可训练连续向量。
LoRA训练低秩权重增量,秩、目标矩阵和缩放共同决定取舍;合并适配器和共享基座服务适用于不同部署目标。QLoRA压缩冻结基座。模型合并把多任务适配移到参数层,但需要对齐与独立任务验证,不能假设能力会直接相加。
进一步阅读:低秩适配学习权重增量;LoRA容量取决于秩和目标矩阵;LoRA缩放与秩需要联合验证;合并与分离适配服务有别;多适配器存储预算要重新算数量级;量化基座上的低秩适配;权重合并与输出集成有别;多任务训练要处理共享学习与遗忘;参数平均要求表示可比;任务向量是微调权重相对基座的差。
模型合并有不同几何与结构操作:插值、任务增量剪枝、层堆叠与适配器拼接的资源效果并不相同。实际训练则先验证链路,再调学习率、有效批次、轮数和损失范围,并以独立任务评估检查退化。
进一步阅读:球面插值与直线平均采用不同路径;增量剪枝不等于模型稀疏;层堆叠后仍需适配;适配器拼接扩大容量;微调先验证训练链路;学习率诊断要结合损失与验证表现;梯度累积用多个微批组成一次更新;轮数由验证退化约束;响应损失权重应匹配实际生成任务。
原书依据 · 41 处
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
数据集工程
数据集工程要同时回答数据是否正确、是否覆盖真实需求以及数量是否足够。高质量少量样本可能优于大量杂乱样本,但覆盖不足仍会让系统在遗漏的语言、任务或用户群体上失败。先确定要学习的行为,再选择收集、标注和清理方法,避免把容易获得的数据当成需求本身。
合成数据由模型生成或改写,可以扩展格式、指令和难例,也可能复制偏见、错误和模式缺失。用模型评分筛选时,生成器与裁判共享盲区仍会留下系统性问题。递归使用合成数据的风险取决于真实数据保留、采样和质量控制,不能把所有合成都判为无效,也不能以“看起来像真数据”证明有用。
处理链需要保留原始来源和版本,并检查重复、敏感内容、格式和标签一致性。相似样本跨越训练与测试边界会造成泄漏,切分时应考虑文档、用户或重复家族,而不是逐行随机即可。格式化和数据混合还应匹配模型真实部署时的输入。数据价值最终体现在独立任务评估的变化;清洗掉多少条或生成多少条,只是处理过程的记录。
数据策展先定义目标行为,再同时管理质量、覆盖和数量。真实工具轨迹、多轮交互和任务配比需符合应用;小集实验与学习曲线帮助决定继续标注的价值,应用数据也需检查选择偏差。
进一步阅读:数据策展围绕希望模型学到的行为;数据质量包含任务适用与一致性;工具轨迹依赖真实执行;多轮数据教会澄清修正与任务推进;覆盖度要沿真实使用维度设计;质量与多样性需要同时控制;不同训练阶段需要不同数据配比;样本量取决于任务与方法;小规模微调用于诊断;学习曲线估算标注收益;数据飞轮需检查选择偏差。
获取数据可组合现有语料、人工标注、规则增强与AI合成。每种路径都需保留质量和独立评估:模拟不是真执行,回译不是充分证明,顺序交换只消除部分偏差。反向指令和代码验证闭环则将生成结果约束在可检查任务中。
进一步阅读:公开数据也需要来源与质量核验;标注指南与评估指南可以共用标准;增强变换必须保留目标标签语义;合成数据应针对覆盖缺口生成;模拟降低试验成本但存在现实差距;模拟反馈不是真实执行;回译一致不证明正确;偏好数据用顺序交换过滤位置偏差;反向指令以现有内容构造任务;合成代码需要生成验证修正闭环。
数据合成的验收不止于样本外观,还要验证训练后的任务收益与尾部覆盖。处理流程保留原始数据、分布与样本检查、明确去重边界及训练测试隔离,最后使用与部署一致的格式生成训练输入。
进一步阅读:合成价值看训练后效果;模仿教师风格不等于获得教师能力;递归合成训练需要监控尾部覆盖;生成数据也有污染风险;蒸馏需验证替代效果;数据处理保留原始版本;数据检查同时看分布与实际样本;去重前先定义比较单位和相似标准;训练测试隔离要包含重复家族;过滤规则应保留任务所需的信息;主动选择样本依赖重要性信号;微调数据格式与推理输入要一致。
原书依据 · 33 处
推理优化
推理过程通常分为预填充与解码。预填充读取提示并建立中间状态,可以并行处理输入位置;自回归解码则逐步产生输出,前一步结果成为下一步条件。首token延迟描述开始等待,后续每token时间描述阅读节奏,总时长则还受输出长度影响,因此同一项优化可能改善一种体验却不改善另一种。
性能瓶颈可能是计算能力、内存容量或数据搬运。权重和KV缓存占用设备内存,KV缓存保存已处理token的键和值以避免重复计算,但会随序列长度与并发增长。注意力的常见二次计算增长不能误称为指数增长。硬件峰值只是上限,真实负载中的批量、长度、利用率和通信决定有效表现。
量化、内核优化、批处理、缓存和并行分别改变数值开销、执行效率及调度。批量增大可能提高吞吐却增加等待;前缀缓存只有在真实共享前缀并正确管理生命周期时才有收益。推测解码用较便宜的候选生成配合目标模型验证,收益取决于接受情况和验证成本。优化应在目标负载下同时测质量、延迟、有效吞吐与成本,并以满足服务要求的成功请求衡量收益。
推理优化先定位计算、带宽与容量瓶颈,再用用户可见延迟、有效吞吐和成本衡量收益。预填充与解码的特性不同,在线和批处理的目标也不同;活跃率与硬件峰值都不能代替真实工作负载结果。
进一步阅读:推理先定位资源瓶颈;算术强度连接工作负载与硬件瓶颈;预填充与解码适合不同优化方向;在线与批量服务区别在延迟目标;流式输出改变检查时机;首字与逐字延迟有别;用户首见延迟还包括隐藏工具步骤;延迟要看分位数和长度切片;吞吐比较先统一计量;有效吞吐同时约束速度与服务目标;活跃不等于计算高效;带宽估算需要声明权重重用假设。
硬件与模型优化都围绕真实数据路径。推测和参考解码通过候选验证减少串行步骤,KV缓存通过重用减少重复计算;共享注意力、低位缓存与分页管理则作用于不同的内存问题,不能混为同一种无损压缩。
进一步阅读:硬件评估匹配真实负载;内存层级优化围绕数据重用;非结构化剪枝不保证实际加速;推测解码减少串行等待;参考解码利用输入输出的重复片段;并行预测仍需一致性验证;键值缓存随会话增长;缓存内存按真实头维度计算;共享键值与局部窗口的取舍;分页管理减少内存碎片。
服务优化把固定资源分给动态请求:动态和连续批处理减少空等,预填充解码解耦控制干扰,前缀缓存复用相容计算,多种并行方式则在容量、吞吐、延迟和通信之间取舍。优化成功必须回到实际SLO和成本验证。
进一步阅读:内核融合减少数据搬运;编译器把模型操作映射到目标实现;动态批处理权衡排队;连续批处理替换完成请求;预填充解码解耦需要核算状态传输;前缀复用要求上下文相容;副本并行扩并发模型并行分单模型;张量并行要用计算收益抵消通信;流水线重叠不同模型阶段。
AI工程架构与用户反馈
应用架构把模型调用放进可运行的系统。最小链路只有输入、模型和输出;当实际问题出现,再增加检索上下文、防护、路由、网关、缓存和工具流程。防护不只是识别问题,也包括拒绝、修复、降级或交给人处理。缓存复用答案可以节约成本,但必须考虑身份、权限、数据时间和策略版本,文本相似并不意味着答案可以共享。
监控用指标发现表现变化,可观测性则保留定位原因所需的运行证据。一次请求的追踪把检索、提示、模型与工具步骤连接起来,帮助确认失败发生在哪一环。记录全部敏感正文并不是必要条件;应明确哪些证据足以诊断,如何脱敏和保存。新增组件提升能力的同时也新增故障面,因此不能只检查组件各自成功。
用户反馈为持续改进提供线索。显式评分更容易解释却可能稀少,停止、编辑、重生成等隐式行为更丰富却有多种动机。反馈设计要让正常工作自然产生信号,并允许修复失败、跳过无法判断的问题以及理解数据用途。选项位置、措辞、曝光和公开程度都会改变数据。若把点击或偏好直接当作质量训练,系统可能不断放大已有曝光优势或迎合用户,因此仍需保留独立评估与事实核验。
系统架构围绕具体问题逐步扩展。输入输出防护、路由网关和缓存都需要明确边界;尤其答案共享必须遵守身份与时间依赖。随着流程形成循环,监控与追踪要保留足够运行证据,并把故障回流到评估。
进一步阅读:架构按问题逐步扩展;出站检查包含检索资料;输出防护必须同时定义检测和处置;重生成不等于安全重执行;路由按能力与约束选路径;模型网关统一接入也集中故障治理;缓存键包含权限与答案条件;语义缓存必须验证答案可替代性;流程循环需要状态追踪;监控指标从故障假设反推;可观测性让运行证据支持定位原因;恢复指标先统一时间定义。
可观测性把请求跨组件连接起来,帮助区分用户分布变化、模板变化和模型变化。产品反馈则把运行结果转成下一轮改进线索,但反馈由界面、曝光、任务类型与用户选择共同产生。只有把观察边界、偏差和数据用途一起设计,数据飞轮才可能改善真实任务表现。
进一步阅读:技术指标需要与任务价值共同解释;请求追踪连接跨组件的运行证据;漂移区分输入与系统变更;编排要清楚表达控制流;用户反馈首先需要明确用途;显式反馈存在响应偏差;隐式反馈必须放回任务语境;用户修正揭示改进线索;重新生成不必然表示用户不满意;反馈入口应让失败后仍可完成任务;只问用户能够判断的问题;工作步骤承载采用反馈;反馈上下文应单独说明收集范围;反馈界面会制造测量误差;反馈是否公开会改变用户表达;评分中的宽容与位置偏差需要校准;反馈训练可能放大曝光偏差和迎合。
后记
后记把技术学习重新放回提问和实践:系统化方法的价值,在于帮助人提出值得解决的问题,并在真实构建中继续学习。作者提供配套仓库作为后续资料入口,但本次没有据此宣称已执行项目或验证所有实现。书籍字数与插图数量属于出版说明,不作为知识覆盖的证明。
跨章综合
概率生成、工程评估与产品反馈构成三个相互约束的层次。模型给出可能输出,评估判断它是否满足任务,反馈揭示真实使用中哪些需求没有被原来的样本覆盖。任何一层都不能单独代表成功:低困惑度不保证事实正确,高离线分数不保证用户完成任务,更多点赞也不保证模型更可靠。
信息适配与行为适配应分开诊断。如果答案缺少资料,先查资料和检索;如果资料已在上下文但未被使用,检查提示、上下文组织和模型能力;如果目标行为长期稳定且有可信示例,再考虑微调。这种定位使开发者能从较小、可测的改动开始,避免同时改变多个组件后无法解释效果。
性能优化也受同一任务约束。压缩、路由和缓存只有在保持所需质量与权限条件时才创造价值,吞吐增加而失败请求更多可能并无收益。架构与数据工程保存版本、来源及追踪证据,让模型、数据、提示和用户变化可以被区别。由此形成的闭环是:确定价值与失败,建立评估,按原因适配,验证质量和预算,再从运行证据中更新问题。
生成时校正(2026-11-06):第四章将Gemma笼统列作Apache 2.0的例子,不能跨版本沿用。Google官方2024年说明区分开放模型与开源许可;Gemma条款区分附录所列模型与Gemma 4许可。因此卡片只保留“核对具体版本许可”的方法,不转抄原书的笼统映射。
发散与实践
以下是读者延伸的实践计划,尚未执行现实实践。优先把书中的评估与反馈方法用于现有读书资料,而不为学习概念重复搭建完整框架。
本地问答验收集(ideas/idea-001-本地问答验收集.md);反馈标注试表(ideas/idea-002-反馈标注试表.md);适配方案决策单(ideas/idea-003-适配方案决策单.md)。三项分别交付验收依据、反馈解释规则和适配决策,依赖关系是先知道什么算成功,再决定如何改进。未选独立部署、完整训练、向第三方发送资料等高成本方案;它们不属于本轮计划交付。