此笔记位置已失效,请从目录继续阅读。
全书导读
本书要解决的不是怎样让模型说出一句像样的话,而是怎样把模型放进能可靠完成任务的软件系统。作者先解释模型由数据、词表、架构和训练目标形成,再讨论选择与适配,最后进入工具、表示、检索与系统设计。即使不从零训练,理解这些原料仍有助于判断一次失败来自哪里。
本次依据本地2025年第一版EPUB,25项spine全部读取,包含前言、13章及索引;代码、公式与实质图像均纳入取材。书的主范围为英语文本模型,多语种、多模态和成熟推理模型并未系统展开。工具接口、型号、价格及排行榜属于版本背景,不能把当时实例当当前选型结论。
阅读时可先建立三个问题:模型在训练中见过什么,任务需要改变或补充什么,系统如何验证真实完成?正文依次讲清相关概念,卡片提供更细的机制、比较与边界。所有练习保持计划与执行区别,本次没有安装模型、运行训练、调用付费接口或搭建业务服务。
全书主线
第一部分建立“原料决定行为”的视角。数据清理、去重、混合和隐私处理决定可学信息及偏差;tokenizer将文本编码成可训练单位,词表和边界影响长度、覆盖与成本;架构的注意力、位置和学习目标决定信息怎样流动。模型输出的是条件分布,既不天然拥有事实库,也不因生成流畅就具备正确推导。
第二部分回答如何把已有模型用于具体任务。选择需要在目标评估、能力、资源和开放条件之间比较,解码控制候选选择,监督微调学习任务映射,继续预训练调整暴露分布,PEFT限制更新参数。偏好对齐再塑造行为,验证和证据机制处理事实风险。推理优化则从复用计算、减少深度、压缩模型和改变数值表示入手,每条路线都要一起报告质量和资源。
第三部分把模型连到外部世界。工具调用由模型提出、运行时执行;数据经过解析、分块、编码和索引成为可取回证据。RAG进一步分解为改写、召回、重排、精炼、插入与生成,便于定位哪一步丢失必要信息。最后,多模型路由、级联和任务分工控制成本,编程框架把流程与可调提示分离。主线始终是依问题选择最小必要机制,并由真实输入、输出和证据验收。
flowchart TD
A[数据 词表 架构与目标] --> B[理解能力与失败边界]
B --> C[任务评估与模型选择]
C --> D[适配 对齐与推理优化]
C --> E[工具 检索与上下文]
D --> F[系统职责 状态与验证]
E --> F
F --> G[质量 延迟 成本共同验收]
前言与阅读路线
前言把从演示走向生产视为本书的切入点:框架便于快速搭原型,但可靠应用仍需理解模型原料、适配方法和系统组成。全书三部分依次处理LLM基础、如何使用与适配、以及集成进更大软件系统。
读者需要Python和基本机器学习知识。原书主要讨论英语文本模型,基本排除多语种和多模态,推理模型只作当时的初步介绍;不能把作者的完整读书收益预期或当时模型能力当作当前保证。练习帮助暴露机制边界,补充项目是后续实践候选,当前未运行。
前言的实践主张可概括为从“接口能回答”走向“系统能可靠完成任务”。第一部分提供模型原料的解释,第二部分讨论适配,第三部分把模型放进系统;章节中练习是形成直觉的输入,并不是完成阅读就自动成为专家的保证。
范围也有边界:英语文本是主体,多模态、多语言和成熟推理模型不在本版系统展开范围。补充代码项目是后续实践候选;当前没有安装依赖、调用付费API或运行训练。
大语言模型入门
第一章从下一token概率预测建立模型直觉,再通过历史路线说明从规则、特征工程到可复用预训练模型的整合。需要保留两类边界:训练语法或棋谱规律的能力不等于任意序列任务都成功;缩放规律的资源配置也不等于只看参数量选模型。涌现曲线与严格评分、细粒度能力之间的关系,应结合用途解释。
企业采用部分属于作者当时的财报分析,提及、试点和生产收益不等价;不把当时数量或公司宣传当作当前事实。语言任务仍应先写输入输出和质量判据。
提示通过任务说明、上下文和示例影响生成,而不是永久更新权重。零样本明确输出空间,少样本示范任务,分步解题和提示链尝试组织中间计算;每种方式都要按任务、模型和成本验证。乱序句容错不等于词序不重要,角色位置的个别实验也不等于权限语义可忽略。接口参数部分保留通用机制,原书OpenAI旧式调用及具体支持范围不作为当前操作指南。
进一步阅读:下一词元训练学习概率分布;离散序列建模不限自然语言;缩放规律依资源约束解释;参数规模不单独决定适用性;涌现结论依赖评估粒度;预训练与任务适配职责不同;端到端整合仍需系统判断;采用讨论不等于收益证据;企业任务先按输入输出拆分;提示是带目标约束的上下文;乱序可读不代表顺序不重要;零样本提示明确输出空间;少样本示范不更新模型权重;提示漂移需要联合版本记录;分步解题须比较收益与成本;提示链拆分职责也增加接口;情绪提示不是稳定性能保证;角色指令与输入数据应分层;多候选还需要可靠选择标准;终止协议可能截断有效内容;采样温度调节分布不是事实性;词元概率不等于事实置信度。
章节末用文档聊天原型贯穿应用流程:解析原文、分块和嵌入建立检索索引;请求到来后改写查询、检索候选,再组织上下文生成回答。相似段落不保证有答案,历史改写也可能改变问题,解析错误更可能让证据在进入模型之前就已丢失。
从原型走向生产要据失败层定位方案。模型适配、检索优化、推理成本、工具接入与系统编排分别解决不同问题,不能把更大窗口、更强模型或微调当作通用修补。文档能放进窗口也要比较实际利用、成本和噪声,而不是只看最大长度。
最后,LLM文本检测只是有限统计任务。词频或词性模板可提供线索,但需评估误报、语言背景与改写影响;不能把某个常见词或一种句式当作机器写作的证明。
进一步阅读:流畅回答仍可能缺少事实依据;单词频率不能裁定机器写作;语法模板只是检测候选特征;检索相似不保证包含答案;问答改写与回答生成职责不同;解析分块会决定下游可见证据;长上下文取舍不只看能否装入;原型失败应定位具体环节;应用方案以质量和资源共同验收;文档问答区分建库与查询链。
预训练数据
第二章从四类模型原料转入数据工程。自监督减少逐条人工标签需求,但并未消除采集、抽取和选择的工作。文本常省略共同背景,重复训练和生成更多同类文本也不等于获得新的独立知识;应按任务与验证信号判断边际收益。
本章列举多种公开与专业来源,重点不在记住每个历史大小,而在理解覆盖、风格和混合比例。可访问与可许可使用不同,合成数据也由种子、提示和教师错误共同塑形。
预处理将来源变成模型真正见到的内容。网页抽取会丢表格、代码或结构,标点和长度规则会误删有效文本,语言识别的高分不保证单语。质量分类、KL距离和困惑度都是相对某个参考分布的代理,必须用抽样和下游任务验证,不能把一个筛选分数当事实质量真值。
进一步阅读:模型原料分为四类决策;基础与适配模型来自不同阶段;训练透明度影响故障解释范围;自监督从输入构造训练目标;文本可能省略任务所需背景;过程反馈与最终结果反馈有别;多轮重复不是新增独立信息;数据来源多样性需对应任务;公开可访问与可使用要分开;合成数据由种子与提示塑形;合成多样性可沿受控维度设计;预处理顺序依赖实际输入;网页文本抽取会引入系统偏差;结构化网页信息不应全当噪声;启发式清洗是近似筛选;语言概率不保证文本纯单语;质量标准会偏向参考分布;来源分类器不是质量真值器;困惑度衡量相对模型可预测性;困惑度筛选要防两端失真。
去重需要明确相似定义和粒度,同时区分无意冗余与有意上采样。它可以减少某些重复记忆,却不能保证单次敏感信息不会泄漏。隐私部分因此将检测、格式校验和处置分开:匹配到号码形状不代表真实分配,替换为假数据也可能改变人群分布或破坏共指关系。公开文本的再利用还改变可发现性和用途,不是简单的公开/私有二分。
评测去污染解决另一个问题:训练见过评测信息后,分数无法直接当成未见任务表现。字符重合能发现部分复制,改写和翻译仍可能漏检。数据混合与课程顺序则决定模型实际接触各类内容的频次和时机,不能只读文件大小表。
最后,本章将数据分布连接到下游行为。熟悉任务和高频输出可能更容易,低概率的正确结果有时被常见表达取代;因此评估要区分规则遵循与分布熟悉性。来源与过滤不是中立过程,词表屏蔽、语言阈值和百科偏好都会改变群体覆盖。每个步骤都要有自己的目的、抽样诊断和残余限制。
进一步阅读:去重需明确相似类型与粒度;去重与提高采样权重不矛盾;去重可降低记忆但不是清除保证;成员推断与训练提取目标不同;公开数据仍受原始语境约束;组合信息可能提高识别性;隐私标签体系需要任务约定;格式检测不同于真实身份验证;隐私规则须覆盖实际格式变化;隐私检测与处置分开验收;占位替换与同类替换各有代价;随机替换会改变群体分布;删除高风险来源牺牲部分覆盖;隐私措施需区分风险降低与保证;去污染针对评测信息泄漏;字符匹配不能覆盖语义污染;混合权重决定有效训练暴露;课程学习改变暴露顺序;训练频率可能影响任务行为;语料筛选不可能完全价值中立;关键词屏蔽忽略社会语境;数据治理各步骤要保留目的。
原书依据 · 42 处
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
词表与分词
第三章将语言模型输入拆成词表、编码规则与嵌入的契约。词表项不是自然语言字典中的词,编号也只在匹配的模型配置中有意义。大小写、空格、拼写和领域术语会改变切分;没有专用token不等于不理解,有专用token也不等于已充分训练。
tokenizer训练从语料学习符号与规则,调用时则按固定配置编码。规范化可能丢信息,预切分限制合并范围,BPE按学习的优先级合并,WordPiece从当前位置贪心匹配前缀;后处理加入任务协议符号。原文把WordPiece说成词内任意最长子串,笔记据官方说明限定为当前位置的前缀匹配。字节级基底提供表示覆盖,但单token可能只含字符的一部分字节。
词表尺寸在序列压缩、参数成本与稀有项学习之间取舍;所谓免tokenization模型也仍有字节或码点输入单位。fertility和parity帮助比较切分负担,不能单独证明模型能力。扩展领域词表则不止添加字符串,还需要模型维度匹配与新表示的学习,并检查对已有切分的影响。
核对来源:HF WordPiece课程、HF分词流水线说明。
进一步阅读:词表类型与文本实例可区分;词元编号只在特定词表有意义;词元边界不等于概念边界;大小写归一是信息取舍;未知词占位会合并不同信息;字符编码用更长序列换覆盖;词表大小平衡压缩与学习信号;训练分词器与调用分词器分开;拼写变体会改变序列形状;免子词模型仍有输入单位;归一化可能不可逆丢信息;预切分限制后续合并范围;偏移位置用于对齐原文;字节对训练按频次逐轮合并;字节对编码遵循学习合并顺序;完整字节基底解决表示覆盖;词片推断从当前位置贪心匹配;词片合并评分不是只看低频;后处理添加模型协议符号;工具标记需要系统执行语义;稀有词元可能缺乏训练;生育率依赖词数定义;跨语言比较须用对齐内容;扩词表还需扩嵌入并学习;分词是带模型约定的流水线。
架构与学习目标
第四章先把模型训练拆成表征、计算和优化:嵌入查表给初始向量,注意力跨可见位置聚合,前馈逐位置变换,残差与归一化组织块内信息流。反向传播计算梯度,优化器据此更新参数;训练损失只约束规定目标。
注意力由QK匹配与V聚合构成,多头提供并行投影,位置机制表达序列顺序。权重图不是现实因果解释,也不能消除一句话本身的指代歧义。ALiBi与RoPE注入位置的方式不同,位置外推与权重单调性都不能只凭名称保证。原书将原始Transformer的归一化位置反写;正确Post-LN公式是LN(x+F(x)),与Pre-LN的x+F(LN(x))不同。
交叉熵在独热目标下为负目标对数概率,困惑度则是平均损失的匹配底数指数:自然对数对应exp。均匀分布的PPL为V,却不是最坏值。内在建模表现与外在任务验收分工明确,编码器、双栈与仅解码骨架也应按任务、遮罩和目标共同选择。
进一步阅读:反向传播与参数更新职责不同;分布假说提供语境表征线索;输入嵌入按词元编号查表;注意力通过键匹配聚合值;缩放点积抑制分数尺度增长;多头提供并行投影子空间;注意力图不能消除指代歧义;位置表示补充序列顺序线索;线性偏置与旋转位置不同;逐位置前馈不混合相邻词元;层归一沿每个位置特征计算;归一化位置必须看残差公式;独热交叉熵只取目标项;困惑度的指数底数须匹配;均匀猜测不是困惑度最坏值;内部指标不替代任务验收;编码器与解码器按可见性分工;模型家族选择仍需任务实测;注意力块按计算职责连接。
MoE部分区分总参数容量与每次活跃计算。token-choice固定每个token选择的少量专家,却可能负载不均;expert-choice限制专家容量,却改变token覆盖。门控是学习到的计算分配,不等于人类专业分类,复制稠密层的upcycling也只是初始化。
训练目标由可见信息和计分位置共同定义。FLM按前缀预测后继,PrefixLM允许前缀双向但后缀自回归,MLM只在选定位置恢复。原始BERT的选中位置还包含随机替换和不变分支,T5用哨兵组织缺失跨度,BART用多种破坏重建原文。UL2混合不同去噪形态以拓宽训练,但计分位置比例不能独自决定训练效率。
最后的棋谱模型将数据、领域词表、Transformer与目标组合成小实验。它说明表达设计是可研究变量,而非证明自然语言永远低效。比较相同棋局数时还需控制token数、训练步数、转换质量与计算;效果应按合法着法、完整对局与对手表现验收,不能只凭偶尔胜出推断规则完全学会。
核对资料:原始Transformer论文3.1、BERT原始掩码规则。
进一步阅读:稀疏专家分开总容量与活跃量;词元选专家需要处理负载失衡;专家选词元改变分配约束;专家门控不等于人类专业标签;稠密模型转专家还要继续训练;全语言目标只看前缀预测后继;前缀语言目标分开可见性与计分;掩码目标只在选定位置计分;跨度恢复用哨兵标识缺失块;去噪任务通过破坏构造监督;混合去噪覆盖不同预测形态;目标密度不是训练效率全貌;下一词分数不能直接当解题判断;领域记号改变学习表示成本;等量案例不等于等量训练预算;领域生成先验收规则合法性;训练原料要随实验一起固定。
原书依据 · 36 处
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
按任务适配模型
第五章把模型选择看成受约束的工程决策。先定义质量底线、资源和部署要求,再逐项检查具体权重变体、数据透明度、可定制性与维护成本。自托管的收益主要是控制与灵活,不应直接等同更低总成本;厂商和许可表是本版历史背景,使用时需重新核对实际制品。
评价部分强调排行榜只是起点。能力基准用于诊断,内部任务样本用于最终适用性;选项概率、自由生成和完整序列评分会产生不同协议。偏好投票也受风格与样本人群影响,自动裁判须有量规并校准,污染探针则只能提供调查线索。模型、提示、解码和解析应联合固定。
运行资源需要分别看权重、缓存和临时内存,训练还包含优化器与梯度。精度格式影响数值范围与存储,CPU/磁盘卸载增加可容纳性却带来搬运开销。加载成功与满足质量、速度和成本是不同验收。
进一步阅读:模型选择先列硬约束与取舍;全生命周期成本不只含词元费;开放程度需要逐项说明;使用许可必须绑定具体制品;指令适配改变行为也可能回退;偏好对齐反映特定评价标准;上下文容量不等于有效利用;领域适配与任务适配分开;社区支持是维护成本的线索;公开基准先看能力覆盖;榜单小幅领先不必触发换模;选择题评分协议影响排名;污染探针只提供调查线索;偏好排序受样本和展示影响;安全评估须写清标准与场景;自动裁判也需可见量规与校准;提示和解码属于评估条件;权重内存只是推理占用下限;数值格式改变范围和精度;卸载以数据搬运换可容纳性。
解码部分比较局部选择、有限前缀搜索与概率截断。贪心和束搜索寻求特定分数下的高概率路径,采样用top-k或top-p控制候选集合;都不自动保证事实正确。配置必须确实启用所需模式,低温、固定种子和重复候选也不能替代可靠性验证。
结构化输出把模型接到软件接口:schema、正则或CFG可控制形式,但内容真实性、类型间关系与证据仍需另一层检查。由程序填结构、模型填内容的工具也有明确支持子集,不能假设任意模型与任意schema都兼容。
调试工具最后把输入、注意力、显著性和表示变化可视化。它们帮助提出可验证的错误假设,不是对现实因果或模型内部真相的直接观察。单神经元可能多义,稀疏字典分解可形成更有用的分析单位,但仍有容量、重建与特征完整性限制。
机制解释核对:Towards Monosemanticity原始研究。
进一步阅读:本地运行工具不消除模型配置;托管与自建按端到端成本比较;贪心只优化当前词元选择;束搜索维护多条候选前缀;固定候选数与累计质量不同;采样参数要与生成模式配合;低温与固定种子不保证全环境确定;多数投票聚合答案并非验证真值;结构格式与内容正确分开验收;约束解码限制的是可生成串;模板填充需识别支持范围;显著性图与注意力图含义不同;扰动输入只能支持限定诊断;单神经元可能混合多个特征;稀疏字典特征是分析近似;调试结果回到任务样本验证。
原书依据 · 36 处
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
微调
第六章用具体标签任务说明何时考虑参数适配。首先写清输出映射和反例,再确定数据、训练方式与验收。新事实的更新和行为模式的学习是不同需求,检索与微调也可组合;一次提示失败不证明微调必不可少。
资源部分应拆成不同项:优化器状态按可训练参数计,低位优化器压状态,分页迁移缓解显存,激活检查点用重算换存储,梯度累积提高有效批量。BF16浮点和四位权重量化不同,LoRA的秩也不是注意力维度。原例56GB只对应特定全参Adam状态口径,不是适配器训练固定要求。
优化配置没有独立于任务的最佳值。预热、衰减、批量、标签平滑和嵌入噪声应结合质量、校准与回退检查。标签平滑改变的是目标分布;噪声后文本更长不证明信息量更大。按指定库版本核对后,原示例训练轮数与四位加载字段需更正,不能仅凭超参数列表就宣布训练可运行。
进一步阅读:微调改变权重而非塞入更多提示;更新知识与学习行为分开选择;标签定义要排除相似但不同情形;优化器状态按可训练参数计量;优化器内存依算法与实现;低位优化器压缩状态而非全部训练;分页优化器用主存缓解显存压力;学习率须与目标和配置联合调节;预热与衰减控制不同训练阶段;检查点重算用计算换激活内存;梯度累积改变更新批量;混合精度不同于低位量化;校准要求频率匹配概率;标签平滑改变监督分布;嵌入噪声只在训练时扰动;批量大小取决于负载和目标;梯度裁剪限制范数不修复目标;按长度分组减少无效补齐;低秩适配的秩不是注意力维数;配置开关须按指定版本验证。
训练落地还需检查数据如何进入模型:split、字段、模板、结束标记、截断与损失mask共同确定实际目标。多样本packing会改变可见性,保存适配器也不等于保存基础模型或完整续训状态。原例没有独立验证结果,因此本次不把演示称为已完成有效微调。
指令数据由任务定义、输入和目标组成,模板变化既可能是等价措辞,也可能改变任务方向。正反例帮助说明边界,选项限制输出形式。合成阶段可混合先输入与先标签生成以改善覆盖,但仍要检验标签一致、任务可解与分布漂移;按深度和广度演化不代表复杂说明必然有价值。
最后把资源与数据两条线合并:先有可复查标签定义和独立样本,再比较优化配置与消融结果;训练质量不佳时要回到错误类别,避免只围绕某次最高分调参。小规模高质量数据的研究是任务范围内证据,不能推出普遍样本量保证。
版本核对:Transformers4.35训练参数源码、四位配置源码。
进一步阅读:序列打包需定义样本边界;训练数据字段必须实际对齐;保存适配器不同于保存完整模型;消融实验要控制随机波动;指令数据包含任务语义与答案;模板改写应保持任务等价;标签选项帮助限定输出形式;正反例共同说明标注边界;先生成输入可能造成标签失衡;种子质量限定合成数据方向;指令演化分开难度与广度;少量优质数据结论有任务范围;超参数优化不能替代数据修正;微调闭环从标签到独立验收。
原书依据 · 34 处
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
进阶微调技术
第七章按“为何更新”组织方法:领域与任务分布、知识时效和行为控制需要不同数据与验收。继续预训练沿新分布更新,回放提供旧信号,学习率与正则控制变化;扩展专家或参数则提供新增容量。但共享模块和路由仍可变化,因此不能宣称加专家彻底消除遗忘。
PEFT将更新限制在新增瓶颈、层内前缀、输入软提示或原参数子集中。它节约训练状态与每任务存储,却未免除基础网络计算。瓶颈位置、前缀长度、初始化和推理混批都依实现,百分比与延迟数字不能脱离结构和负载。微调是否学到新能力也需操作化定义,不采用章节末“不能学新能力”的绝对结论。
多模型组合分成输出层集成和参数层融合。前者要处理排序、冲突与额外生成成本,后者要检查架构、词表和参数坐标。共享基座有助于理解增量,却不保证无任务干扰;融合后某些信息变弱,也不等于获得遗忘敏感数据的形式保证。最终应在目标任务、旧能力、隐私目标与资源上分别验收。
进一步阅读:更新参数先说明适配目的;领域与任务自适应范围不同;领域选择可用表示相似度辅助;继续训练面临学习与保留取舍;回放混合保留旧分布信号;继续训练学习率平衡新旧目标;蒸馏约束需明确比较对象;参数扩展需保护既有共享路径;域专家学习仍依赖路由;参数高效不等于前向计算很少;瓶颈适配器先降维再升维;适配器初始行为应接近基座;删减适配层须重新测质量;前缀适配训练层内虚拟上下文;软提示适配只训练输入向量;多任务混批能力取决于执行实现;子集微调保留参数也限制容量;微调能否获得新能力要可检验;输出集成与权重融合分层不同;候选排序需要可聚合比较规则;生成融合需保留证据和冲突;权重平均需要参数坐标兼容;融合不能保证遗忘敏感信息;协作融合须检验任务间干扰;适配器平均也有结构约束;适配方案按变化层次选择。
对齐训练与推理
第八章把行为对齐、事实依据和多步求解放在同一质量问题下讨论,但三者的验收对象不同。帮助性、诚实性、无害性需要明确标注标准;典型RLHF先学示范,再学偏好奖励,最后在参考策略约束下优化。奖励分数是人的偏好代理,不等同事实真值,KL也必须比较清楚定义的分布。
幻觉需先指定参照:外部世界是否正确,与回答是否受给定上下文支持,是两项不同指标。知识库检索、采样一致性、独立验证问题、复述材料、解码调整及注意力分类器各处理不同风险。RAG可能找不到充分证据,复述仍可能编造,稳定多数也可能稳定地错。特别要逐字段检验证据,不因人名有来源就随意补生日。Lookback Lens使用按token平均后的归一化注意力比率,分类输出的标签方向决定候选应取高分还是低分。
推理部分区分演绎、归纳、溯因和常识,再引出生成器与验证器的分工。顺序反馈、多候选选择、长过程和搜索都消耗推理时预算;它们是否有效取决于正确候选覆盖、验证器可靠性及任务难度。长解释本身不能证明推导有效。合成推理数据尤其要检查每一步:书中三骰子例题错误,枚举216个有序结果可得27个和为11,概率1/8。
进一步阅读:对齐目标需要拆解为可评估行为;偏好反馈有不同信息粒度;对齐监督先学习示范响应;奖励模型拟合相对人类偏好;策略优化需要奖励与偏移约束;偏好样本必须共享比较上下文;幻觉评估先声明事实参照;知识与自知需分别评估;置信信号必须经过校准;检索增强不能保证无幻觉;多次生成一致不代表事实正确;验证问题应独立作答再修订;复述中间材料仍是模型生成;采样多样性与事实风险要实测;事实核采样逐步收紧候选集;层间对比分布突出晚层变化;预训练分块应保留实体语境;句子补全损失改变训练关注点;上下文忠实性不同于事实正确;证据缺字段应保留未知;回看特征需按原定义计算;幻觉分类指导解码先核标签;多重条件要逐项验证满足;清理无关上下文避免提示污染;演绎结论依赖前提成立;归纳结论保留样本外不确定性;溯因解释需比较竞争原因;常识推断也依赖隐含条件;推理机制假说不能取代泛化测量;思维链文本不自动证明推理;生成候选与验证正确分工;反馈循环必须有终止预算;并行多候选受覆盖与验证限制;推理时算力分配要按任务衡量;概率空间搜索需要质量信号;推理训练链须核实中间算术;对齐与事实性需要多层验收。
原书依据 · 37 处
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
推理优化
第九章将推理优化分成减少重复计算、加速生成和降低数值存储三类。首先要分清长提示的预填充、逐token解码和并发调度,不把稠密注意力平方复杂度等同端到端全部成本。K/V缓存复用历史状态,跨请求复用要求前缀与模型配置匹配,省去计算同时增加存储;缓存未消除对历史状态的读取。
早退减少层数,蒸馏改变承担任务的模型,两者都需验证质量。token级早退还要满足后续注意力对已退出位置的表示依赖,理论少算未必意味着实际更快。蒸馏信号可以是教师文本、概率、内部表示或反馈,接口可见性决定方法,不是“没有权重就只能文本SFT”。弱到强泛化也只表明特定条件下弱标签可唤起强学生的预训练能力。
推测解码让便宜草稿提出候选,再由目标模型批量验证;是否保持目标分布取决于接受与修正规则,接受率必须连同草稿与验证开销衡量。应用段落并行需先确认独立性,多token预测头也仍需处理联合依赖。最后,量化将范围、精度和存储成本分开:BF16的指数范围不等于FP32精度,整数码必须配尺度与零点,离群裁剪会牺牲尾部。静态校准与动态统计各有成本,最终需在同一任务、硬件和负载下比较质量、首token延迟、吞吐与内存。
进一步阅读:推理优化先辨别瓶颈阶段;优化收益需同时报告代价;键值缓存复用既有前缀计算;跨请求缓存必须匹配前缀;缓存容量与生命周期共同管理;序列级早退减少整段计算深度;令牌级早退要补齐层间依赖;动态计算需评估路由开销;蒸馏压缩的是指定任务行为;教师响应构成任务蒸馏信号;蒸馏扩增要检查输入多样性;白盒蒸馏要明确表示对齐;教师反馈与自教都需质量筛选;蒸馏目标取决于可见接口;弱监督可唤起强模型已有表示;小规模蒸馏成功不能泛化卡数;推测解码批量验证草稿;草稿接受率不等于系统加速;草稿模型可由不同路径构造;章节并行依赖内容可分解;多令牌头仍需要联合选择;浮点范围与精度是不同维度;浮点最小值须区分具体含义;整数量化必须保存尺度约定;对称量化让实数零对应零码;非对称量化引入零点;离群裁剪以尾部误差换分辨率;权重与激活的量化统计不同;动态与静态量化各有成本;优化路线按资源和质量选择。
外部工具与智能体
第十章按决策权归属区分被动检索、显式固定流程和自主交互。外部数据先被取回再交模型作答,主要检验检索和忠实性;固定步骤让流程较易定位和测试;自主分解则扩大动作选择空间,也增加前置错误向后传播的风险。智能体不是只要接了一个工具的名称标签,应说明模型究竟能决定什么。
系统由模型、工具、数据存储、循环提示、护栏、验证器和编排层协作。模型生成结构化调用意图,运行时验证并实际执行;执行返回才构成观察。工具资料、业务知识、可复用任务提示及会话记录职责不同,尤其要区分计划、推测和已经发生的动作。检索详细工具说明可节约上下文,但不可丢掉版本、参数或副作用限制。ReAct和反思提供组织方式,未必改善所有任务,也不能让模型自己编造观察或反复无预算修改。
生产质量需要把标准拆成可检查性质。摘要例子中,忠实性、具体性、相关性、完整性、去重、连贯性和结构分别验收。NLI检验来源支持而非现实真值,数值与实体出现只能初筛,不能说明归属关系正确。失败后再生成、局部修复、过滤、异常和回退应有明确条件及再次验证;验证器也有误差和延迟。最后,GUI代理通过DOM或截图形成动作闭环,同样需要观察真实结果,不能仅靠模型说完成来更新状态。
进一步阅读:交互范式按决策归属区分;被动检索将证据选择交给检索器;固定工作流约束步骤自由度;自主流程必须管理中间依赖;可靠性目标取决于失败后果;智能体定义需声明自主范围;任务分解先固定时间和口径;模型分工按任务接口组织;工具定义应明确能力与参数;模型生成调用由运行时执行;工具选择需要时效和适用范围;调用协议须区分等待与结束;参数结构校验不等于业务有效;工具很多时按需取详细说明;查询生成应绑定当前库结构;解释器接入必须隔离执行环境;提示仓库保存可复用任务程序;会话记忆保存动作与反馈证据;个性化偏好与任务事实分开存;可观测轨迹应支持失败定位;工具资料与业务知识职责不同;循环提示传递当前状态与角色;行动观察循环应以真实结果推进;反思要由可识别故障触发;护栏与验证器检查对象不同;输入输出检测器都有漏检边界;验证失败需要明确处置策略;重试与回退是不同恢复层次;摘要质量需拆成独立标准;摘要相关性与完整性分母不同;蕴含检验只能验证来源支持;数值出现不等于关系正确;具体性检查须与内容相关;完整性验证先定义必须保留项;去重和连贯性不是同一指标;结构与排序需采用对应验证;验证比生成容易并非普遍定理;验证器增加质量也增加延迟;编排器负责真实流程状态;界面操作依赖观察动作闭环;智能体系统的执行边界。
原书依据 · 41 处
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
表示学习与嵌入
第十一章从非结构化资料如何变成可检索表示出发。句向量不是天然语义真值,模型训练决定池化、度量及任务关系。CLS、均值或末token都需查实际配置;对称改写与非对称问答也可能采用不同指令或双编码器。相同主题下的否定句仍可很接近,因此目标域必须明确哪些关系需要区分。
微调以正负关系塑造空间。三元组损失只要求相对间隔,批内负例则依赖其他响应不是有效正例;困难负例挖掘不能把未标注正例推远。指令嵌入把领域和任务条件带入编码,但查询与文档配置须一致。榜单用于挑选候选,最终仍需目标查询和难例验证。大规模存储可用MRL前缀维度、减层、二值或整数及PQ压缩;每种方法改变不同资源,误差须按实际检索与稀有事实检查,不能把压缩比例当质量保证。
从原文到chunk的管线同样关键:解析需保留表格、单位和章节范围;匹配用小粒度,返回可用较大上下文。重叠窗口、元数据、版面和语义分块各有代价,尤其跨页单位和覆盖规则不能只指望相关检索自动找到。后分块先用长上下文编码再按段池化,可补充远程依赖,却仍受模型范围与能力限制。向量库和多层索引管理检索入口,二维可视化及SAE则辅助理解表示,均不构成事实一致性或完整可解释性的证明。
进一步阅读:嵌入表示由任务目标塑造;池化方式必须匹配模型训练;均值池化需要屏蔽填充位置;序列上限与向量维度分开考虑;固定向量不能无损保存任意文本;检索器与阅读器分工验收;对称与非对称检索分布不同;相似度度量应与训练一致;单位化后点积等于余弦;语义相近不保证否定关系一致;领域适配应定义想改变的距离;三元组标签表达任务相关性;困难负例要排除未标记正例;负例阈值方向取决于分数定义;三元组损失只强制相对间隔;批内负例依赖样本互不相关;缓存对比损失换取有效大批次;指令嵌入按任务条件编码;描述式检索查找满足描述的文本;公开榜单不能代替目标域评估;向量存储先算基础字节量;套娃训练让前缀维度可用;维度裁剪必须受真实输出约束;层数与维度是不同压缩轴;二值嵌入以低精度换空间;整数嵌入依赖逐维校准范围;乘积量化保存子空间码本索引;压缩取舍需要端到端检索评估;解析质量决定可检索证据;句子切分需要领域例外;匹配粒度与返回粒度可分开;滑动窗口以重复换邻近上下文;元数据边界保留章节作用域;版面理解补充文本结构线索;语义分块保留非连续来源;全局单位必须传递到局部证据;后分块先全局编码再局部池化;向量库管理索引与元数据;多层表示支持不同检索入口;降维图只帮助观察局部模式;稀疏特征解释依赖所学字典;表示管线需保留来源映射。
原书依据 · 42 处
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
检索增强生成
第十二章将RAG从“找几段文本放入提示”扩展为可分解、可诊断的知识增强管线。检索对象包括事实、历史、示例与工具资料,其相关性标准不同;是否检索应考虑时效、模型范围及错误后果,而不是简单以知名度或模型参数量决定。改写缓解词汇差异,但必须保留原始约束;PRF会受首轮偏题影响,HyDE生成的假想材料只作检索代理,绝不能流成事实来源。
召回先覆盖必要证据,再用重排提高前列精度。BM25和语义检索互补,过滤错误会直接漏证据;图结构可服务全局主题,但抽取关系也会错。双编码、交叉编码和ColBERT后交互有不同预计算与交互成本,单标量分数也不自动是概率。QLM用同一查询的条件似然排名,点式、对式和列表式排序则分别承受校准、非传递及位置/窗口限制。
精炼压缩不能丢失主体、单位、否定或来源。抽取原句仍可能切断作用域,抽象摘要则有新增事实风险。用正确答案似然筛选训练摘要和few-shot例子是训练期办法,未知查询不能在线凭空取得金标。CoN明确文档是答案、背景还是无关,有助于保留未知,却也要检验笔记是否越过证据。插入顺序及主动检索影响长文质量,低概率触发只是风险代理。
外部记忆扩大可取回历史,不是无限实际上下文;摘要会损失细节,需保留原始回溯。REALM说明检索也能参与预训练,防泄漏排除的是同源未遮挡句,不是所有含答案的文档。面对知识冲突、长窗口与微调选择,最终应比较具体任务的证据支持、覆盖、延迟和成本,避免把任何单项技术视为全能替代。
进一步阅读:检索增强针对知识可达性;长尾事实记忆缺少确定阈值;检索对象不局限外部知识;动态检索按时效和风险决策;可选阶段要有独立增益证据;查询改写要保留原始约束;伪相关反馈依赖首轮质量;假想文档是检索代理不是证据;多次扩展一致仍可能共同偏题;查询与文档改写分摊成本不同;复杂检索可拆成带依赖子问;首轮召回应覆盖所有必要证据;词法检索仍是有效基线;混合检索需定义融合方式;元数据过滤错误会直接漏召回;生成检索先建立文档标识映射;合法标识约束不能保证相关;紧耦合检索优化下游收益;图检索用关系支持全局主题;重排无法挽回首轮漏掉的文档;交叉编码联合比较查询与文档;重排分数要核对激活函数;后交互预计算文档令牌表示;查询似然按候选文档条件计算;似然排序取决于接口可见性;点对列表排序有不同误差;排序蒸馏继承教师和候选偏差;证据压缩要保持回答必要条件;抽取摘要也可能丢失语境;紧耦合摘要用答案收益筛选;金标似然不能在线凭空获得;链式笔记区分答案与背景;间接先后描述不必然证明继任;笔记与答案损失需分开权重;证据插入顺序要结合有效窗口;分文档生成再融合有额外风险;主动检索以生成状态决定取证;低概率触发检索只是代理信号;显式检索标记需要运行时处理;引用正确需匹配具体主张;外部记忆扩大可取回范围;摘要记忆与原始记录互补;动态示例以任务收益衡量;检索也可参与预训练目标;平凡检索排除同源答案泄漏;知识冲突必须回到来源判断;长窗口评估要加入相关干扰;长上下文和检索是组合选项;微调与检索改变不同层面;知识增强管线保留证据链。
原书依据 · 50 处
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
设计模式与系统架构
最后一章将模型能力转化为系统决策:多模型既可分工不同子任务,也可共同承担同一类问题。级联先尝试低成本模型再按结果升级,适合大量简单请求,但困难请求会承担累计成本;预路由直接选择模型,省去重复推理却承担误判难度风险;任务专用模型则需要清楚子任务接口和整合验收。门控信号必须在目标分布校准,首token间隔、口头置信和一致性都只是代理。
编程框架把迭代变成可组织的软件过程。DSPy模块与签名表达输入输出及流程,优化器调整提示、示例或参数;优化效果依赖任务数据和评价指标,不能用编译成功替代业务验收。LMQL将生成占位符、停止条件和控制流写成声明式约束,可控制结构而不保证内容事实正确。全书由此收束:按最小必要能力和可验证接口组合模型、数据、工具及反馈,在质量、延迟和成本间通过证据做选择。
进一步阅读:系统架构把模型置于质量约束中;多模型分工有两种基本方式;级联先尝试便宜模型再升级;级联门槛必须校准错误放行率;首词概率间隔不代表整答可靠;预路由节省重复推理也有误分;专用模型接口需保留任务约束;编程框架分离流程与可调变量;模块签名定义输入输出契约;优化器效果由指标和数据约束;声明式生成约束不保证语义正确;架构选择对齐决策发生时机。
跨章综合
贯穿全书的第一条联系是“表示与依据不同”。token概率描述模型倾向,嵌入距离描述训练目标下的相似,奖励分数描述偏好代理;这些都不是事实真值。模型相当确定、候选多数一致、检索相似度很高,仍可能共同忽略否定、时间或作用域。将分数还原为其计算对象,才能选择可靠验收信号。
第二条联系是“适配与外部补充互补”。微调可以改变任务行为和领域处理方式,检索在当前请求提供可追溯资料,工具将精确计算或外部动作交给专门执行器。它们并非互相排斥的按钮,组合时也不能混淆职责:把工具调用写出来不是已执行,模型在训练中见过某schema不保证记住最新结构,检索到文档不保证生成保留其中的关键限定。
第三条联系是“压缩、效率与信息保持”。数据过滤可能丢掉罕见语言,token截断可能丢掉尾部,量化可能改变排序,摘要可能切断单位和例外。缓存、裁剪、早退及多模型调度都在不同资源上做取舍。因此应把质量和资源放在同一任务与负载下衡量,不能把单项理论节约直接加成整体收益。
最后,系统验证要逐项可追溯。原文、来源位置、模型与库版本、接口参数、工具观察和失败反馈各自保存,才有条件区分资料不足、模型能力不足、实现错误与编排错误。本书提供的许多历史示例具有启发作用,但部分公式、数值及接口说明需保留本次逐单元记录的修正边界;代码存在和能运行都不能替代计算语义正确。
发散与实践
读者延伸:本次采用两项互补实践。嵌入检索实现深读围绕Sentence Transformers固定v3.3.1提交,已核验并读取池化、分批检索和量化入口,附90分钟快速计划与逐单元详细计划。读书检索证据评估表使用当前库的真实卡片和原文,规划12道问题及必要证据和错误归因,不先搭建新服务。
实践文件为idea-001-嵌入检索实现深读.md、idea-002-读书检索证据评估表.md,点击入口见概览。前者首轮源码映射已交付,后续完整阅读与评价样本仍是计划;二者均未宣称获得训练结果或业务收益。完整预训练、多模型付费比较、自动现实操作与大规模系统重造未采用,当前学习缺口可先用有限源码和证据结构解决。