此笔记位置已失效,请从目录继续阅读。
全书导读
本书以已有Qwen3基座为实验起点,把文本生成、评估、推理时扩展与强化学习连接成一条可观察的学习路径。“从零”主要指亲手实现这些推理组件,并不包括重新完成大规模预训练。附录C补充可读模型代码,附录F扩展评估方法,帮助读者看清接口背后的机制。
本次来源是MEAP Version 5,实际包含正文1—6章和附录A/B/C/F。目录预告的7/8章、附录D/E及文中引用的G未提供,不将其记为已读,也不从最新仓库补造成该版正文。
阅读时应同时问:方法改变了哪部分计算,评估测到什么,成本在哪发生,以及代码是否支持所声称的范围。原书一些图注、公式解释和边界代码并不严谨,生成时已具体限定;这些勘误不等同于已经在本机运行模型。
全书主线
推理模型首先是一个按上下文生成token的模型。分词、权重和输入模板决定它实际看到什么;解码和停止协议决定它如何把词表分数变成回答。KV缓存和编译可以减少部分执行成本,却不直接添加知识或证明回答正确。
在此基础上先建立评估:生成原文、抽取终值、规范化、数学判等,再逐题记分。评估协议本身会引入格式、解析和覆盖边界,因此它不是透明无误的尺子。选择题、偏好和裁判又测量其他对象,不能用单个分数概括全部能力。
不更新权重时,可以延长单条回答、产生多个候选投票,或批评后修订。它们以额外token、调用、评分或延迟换取可能的质量收益,但一致、流畅和高自身概率都不保证正确。
需要更新权重时,验证器给出奖励,同题多个回答构成组相对优势,有梯度logprob把反馈连接到参数。本章实现是简化策略梯度,不能完整代表原始GRPO。最后仍需从训练信号回到独立评估,比较正确性、长度和资源,而不是把更低损失或更久训练当作终点。
欢迎词
欢迎词把学习对象限定为推理组件:加载已有模型,再亲手实现增强方法,观察它们怎样改变行为、成本与评估结果。这里“从零”不表示重新承担大规模预训练,也不是生产部署指南。接口与具体模型会变化,理解机制及其可测边界才是这段实践的目的。
理解推理模型
本章先把推理定义为可观察的中间步骤与任务改进,再把它放回模型训练和生成过程。预训练、指令和偏好训练优化不同目标,聊天系统还需会话管理。推理增强可走固定权重下增加计算、以奖励训练权重、用教师示例蒸馏等不同路线;它们不构成必须依次实施的单一路径。
企鹅例子说明评估要区分提示内前提与外部知识。正确答案和流畅步骤不能直接证明内部机制,概率生成也不意味着不可能学到算法。接下来的代码先加载已有模型并建立评估,再比较方法,所有收益都应连同token、调用次数与等待一起核算。
进一步阅读:推理行为需操作化定义;思维链提供可检验中间步骤;自回归步骤不自带逻辑保证;分词器位于模型输入边界;训练阶段优化不同目标;聊天交互还需管理会话;推理时扩展不更新权重;强化学习以奖励更新策略;偏好奖励与可验证奖励有别;文本蒸馏与软目标蒸馏有别;提示内前提与外部知识分开;单个正确回答不能证明机制;规则推导受前提和规则约束;更长生成累积解码开销;多次调用预算不同于单答长度;推理预算应匹配任务难度;先建立评估再改进生成;从零实现限定在推理组件。
使用预训练模型生成文本
本章先把输入文本、tokenizer、模型结构与预训练权重连接起来,再从单轮 logits 推导出可停止的贪心生成循环。输入的批次轴和输出的词表轴具有不同职责:末位置 logits 用于下一步选择,新增 token 回到上下文,返回值只包含生成部分。评估模式与禁用梯度分别控制层行为和自动微分成本。
性能部分先引入预填充及 KV 缓存,再通过模型编译减少执行开销。缓存保留历史键和值,而不是忘记历史;请求之间应重置状态。编译预热、动态状态、缓存分配方式和单样本负载会共同影响速度,因此本章设备表只能作为给定条件的实例。复现时同时保存输出一致性、实际 token 数、计时边界及内存统计口径。
进一步阅读:依赖环境要与实验绑定;先用小模型贯通实验;分词往返检查输入边界;子词切分影响序列长度;词表大小存在资源权衡;架构与权重共同定义模型;设备选择与精度影响复现;模型输入显式保留批次轴;末位置分数决定下一步;最大值索引对应词元编号;贪心解码每步取局部最优;生成函数只返回新增部分;终止标记需进入生成协议;关闭梯度与切换评估有别;标量停止条件限制批处理;神经网络推理不更新参数;缓存把预填充与解码分开;缓存状态属于一次生成;缓存正确性先于加速比;编译预热成本单独记录;动态状态可能触发重编译;缓存分配方式权衡速度内存;小模型未必充分利用显卡;吞吐测量需要统一边界;显存峰值口径必须明确;流式输出仍需统一解码。
评估推理模型
第三章把“回答看起来可信”拆成可以核验的结果:先生成原文,提取最后答案框,规范化格式,再用符号工具判等,最后逐题记录并汇总。机械抽取比再引入一个模型更便宜且可重复,但格式回退、括号解析和符号判等都带有明确边界。最终答案正确也不等于推导过程正确。
实现方面,主路径依次封装模型加载、流式生成、候选抽取、格式变换、符号判等和元组判分。应把解析失败与数学错误分开观测,并将百分号、单位、精确值和近似值的处理写成协议。模型输出属于不可信文本,符号解析库的求值能力不能由 try/except 代替隔离。
评估方面,先用少量题贯通链路,再扩大样本;提示模板、token 预算、数据版本和硬件都应保存。基座与推理变体的比较同时涉及准确率和生成成本。逐题日志使重判分和错误归因成为可能;当验证器进入强化学习,它的漏洞也会成为优化目标的一部分。
进一步阅读:终值验证不等于过程验证;可验证任务依赖外部标准;评估链路拆开失败来源;模型变体与模板共同配置;流式展示与完整记录分开;嵌套括号需要深度解析;末框选择是抽取协议;末数字回退可能误取答案;规范化规则受任务语义约束;字符串相等与数学等价分开;符号解析失败需要单列;模型文本不是可信表达式;有序元组按位置比较;分隔符拆分要识别嵌套;近似相等需要误差协议;判分器也需要反例样本;评估数据副本仍要固定版本;题目输入与参考解保持边界;提示格式也是实验变量;公开数据不等于已见数据;小样本调试不代表总体分数;生成预算会改变评估含义;逐题日志支持误差归因;准确率与资源成本联合报告;训练奖励会继承判分漏洞。
推理时计算扩展
第四章的两条路径分别延长单次回答和增加独立候选:思维链提示引导生成中间步骤,自一致性则抽样多条回答后按终值投票。两者都需要第三章的评估链路来判断收益,不能将更长输出或更高一致率视为正确性的证明。
实现顺序从 logits 经温度缩放、softmax、候选过滤到随机采样,再把生成器作为依赖接入统一外壳。理解这些步骤能分清“改变分布”与“增加预算”。词元概率属于采样分布,不是事实为真的校准置信度;极端温度和错误的候选边界都可能破坏输出质量。
投票阶段先规定终值规范、无效票和平票策略,再统计频率。当前实现实际采用唯一相对多数,无需过半;提前停止必须针对总候选预算证明赢家不可逆转。并行候选可以缩短延迟,却不免除总计算。书中的结果表仅说明指定配置下的成本与效果,样本更多并非逐次保证更好。
进一步阅读:推理预算有串行与并行形态;思维链提示可能引入额外错误;生成策略作为可替换依赖;温度调整相对概率差异;零温度是解码分支约定;归一化必须沿词表轴;词元概率不是事实置信度;按分布抽样不保证本次最优;抽样演示不等于多词生成;随机种子与环境共同复现;采样所在设备也计入成本;核采样按累计质量选候选;截断边界必须覆盖越界项;重归一化保留相对权重;广播维度影响批量归一化;先调温度再截断会改变集合;固定数量与累计质量不同;多样候选是投票的输入条件;一致性投票依赖答案归并;相对多数不要求过半;平票规则需要显式约定;相同模型可能重复共同错误;提前停止要相对总预算证明;候选并行不免除总计算;样本数增加不保证单调收益;采样多样性与扩展预算分开;投票更适合可归并的短答案。
自我修正与推理时扩展
第五章先建立评分与正确性之间的边界:启发式奖励格式和简洁,自身对数概率衡量模型对序列的倾向;两者都只能作为待验证的代理信号。Best-of-N 与投票用不同依据选择候选,也应分别验收。真实答案可用于离线评估,却不能偷渡到实际推理选择中。
概率部分沿固定序列查询下一个 token,使用错位一格的目标索引,随后把小概率连乘改为对数求和。答案评分保留 prompt 作为条件而排除其自身得分,再按答案 token 求平均。平均不是原序列联合概率,分段编码、特殊模板、空输入和低精度都会影响结果。
最后将初稿、批评、修订与代理评分组成循环。本章代码接受同分修订,且无评分时总接受最新稿;记录每轮而不只最终稿,才能看清被拒绝的修改及正确稿退化。更多轮数、批评角色或更高代理分都不自动保证更好;实验需联合比较结果质量与批评、生成、评分的完整成本。
进一步阅读:代理评分要声明优化对象;推理时选择不能偷看参考值;长度度量决定简洁奖励含义;候选最优由评分器定义;已有序列评分无需重新采样;逐词目标需要错位一格;因果前向可一次评分多位置;长序列乘积容易数值下溢;对数概率越大越不负;直接对数归一化更稳健;概率与似然看待对象不同;答案评分仅覆盖目标片段;分段编码可能改变边界词元;平均对数概率改变比较准则;空输入要显式定义评分结果;自修订循环不自动学习权重;批评文本也可能包含错误;修订保留原题与修改依据;接受修订是代理分策略;无评分时总接受最新修订;统一评分上下文便于比较;修订日志保留接受与拒绝;多轮修订要检验退化;修订成本包括批评与评分;评分器与生成器需要联验;外部批评改变系统能力来源。
强化学习训练推理模型
第六章从反馈来源进入参数更新:RLHF 的典型流程学习偏好奖励模型,RLVR 改用任务验证器;GRPO 则是利用组内相对表现形成更新信号的方法。奖励定义与优化算法是两层选择,程序化奖励同样受验证边界和格式要求限制。
本章依次实现多回答采样、终值和格式奖励、组内标准化优势,以及有梯度的回答对数概率。离散采样阶段无需保存图,随后重新前向并沿真实 token 边界提取 logprob 才能反向更新。相同奖励组没有相对信号;训练目标的梯度、代理损失数值和最终准确率不能混为一谈。
需要明确,这里落地的是教学简化策略梯度:优势加权序列 logprob 均值,未实现原始 GRPO 的逐 token 比率、裁剪、长度归一化与 KL。原书把差别主要描述为省略 KL 不够准确。优化器梯度范数裁剪也不是概率比裁剪。
外层训练仍按清梯度、构造损失、反向、裁剪、优化器更新、日志和检查点组织。权重快照服务加载评估,不能单独提供精确续训;中断编号也未必对应完成更新。训练和评估的长度预算、候选数、奖励及格式分量均应保存,并由独立数据验收改进。
进一步阅读:训练投入与推理投入可以叠加;偏好反馈与可验证奖励有别;奖励来源不等于优化算法;组内基线替代额外价值模型;本章目标是教学策略梯度;本轮训练集排除评估题;终值奖励允许不同解题轨迹;采样结果保留词元边界;采样无需图而评分需要图;相同参数名需核对实际分支;格式约束会进入奖励目标;奖励塑形需要明确各分量;优势只比较同一题组内表现;标准差口径影响优势尺度;全同奖励没有相对区分信号;零梯度不保证参数不动;训练对数概率保留计算图;目标词元用错位聚集提取;优势固定而对数概率可微;负号把奖励最大化转成最小化;序列求和不等于偏好短答案;采样分布与评分分布要区分;简化训练更新链路;梯度裁剪不修复错误目标;损失数值不代表任务准确率;模型权重快照不同于完整续训;检查点编号应对应已完成更新;训练长度预算塑造可获奖轨迹;训练和评估长度分别报告;资源随候选数与图保留增长;外部检查点需绑定训练条件;更久训练仍需保留集验收。
附录A 参考与延伸阅读
附录A按正文主题组织参考来源和延伸阅读,作用是提供追溯入口,不是新的实证研究。阅读时优先回到问题、定义或公式对应的一手材料;参考列表中的链接、年份或“首次”描述本身不构成独立结论。当前文件的参考组织还未覆盖全部已写章节,不能据此虚构未提供正文。
进一步阅读:。
附录B 练习答案
附录B用习题解答检验正文的实现边界:流式生成应保持与非流式相同的生成协议;判分测试要把文本抽取和候选判等分开;日志允许离线重算统计;投票的平票与提前停止要明确处理。大部分机制已并入正文卡,本附录仅为新出现的职责边界、Unicode 和复现问题补卡。
例子还提醒我们,分词器可编码某个词并不证明模型掌握相应语言,少量新题的良好得分也不足以排除训练污染。附录给出的代码片段需要与正文接口核对,不能把省略号片段直接视为完整可执行程序。
附录C Qwen3模型源码
附录C补齐正文所用模型的可读实现,主线是“token嵌入—重复Transformer块—最终归一化—词表投影”。每个块由预归一化、带位置的分组查询注意力、残差和门控前馈组成。理解该架构有助于核对权重兼容和张量形状,但本书的从零范围仍主要是推理方法。
实现中RMSNorm不做均值中心化,SwiGLU融合两路投影,RoPE旋转查询键,GQA让多个查询共享KV。头维可以使内部查询总宽度不同于嵌入宽度,随后通过投影回到残差维度;判断参数和内存成本需从这些实际尺寸出发。
缓存把历史键值和当前位置结合起来,因果遮罩要在预填充与增量解码中分别对齐。RoPE缓存buffer可重建而不持久保存,但配置必须匹配。tokenizer的模板、特殊标记和EOS同样属于模型协议,重命名文件、重复模板包装或混用位置状态都可能改变行为。
进一步阅读:均方根归一化不做中心化;归一化统计可提高计算精度;门控前馈融合两路投影;前馈参数量由宽度共同决定;平滑激活仍需实测取舍;旋转位置编码作用于查询键;旋转布局等价需要坐标对应;缓存位置偏移必须连续;共享键值减少缓存头数;扩展查询维不必等于嵌入维;缓存存储先于键值头扩展;查询键归一化不是分组定义;因果遮罩对齐缓存与新词;残差路径要求投影回原宽度;缓存重置包含两处状态;可重建缓冲区不必写入权重;特殊标记属于输入协议;终止标记不能靠随意文件名;思考开关按模板行为解释;配置上限与能力上限分开。
从类型协作看,模型负责将输入ID变成词表分数,各层块组合注意力与前馈,外部生成循环才决定选词和终止。KVCache与模型位置各自存在,重用同一模型时要把会话状态的生命周期作为接口约束。
进一步阅读:模型组件按职责协作。
附录F 常见模型评估方法
附录F把第三章的终值验证放回更广的评估版图:选择题测量预设选项下的表现,验证器检查可判定任务终值,偏好榜汇总成对选择,模型裁判按量规评价回答。它们并不互相替代,报告须说明实际测到的对象。
代码分别演示选项字母抽取、逐场Elo更新,以及本地API裁判。简化实现有明确边界:首个字母可能来自说明,等级受到顺序影响,进程探测不是服务就绪,流式请求也需处理错误和中断。示例模型名称与网页界面用于说明流程,不能当成当前榜单或资源保证。
模型裁判让评分易于批量执行,但量规、参考答案和裁判本身需要校准。把任务正确性、风格偏好及步骤质量分开观测,并保留原始输出与配置,才能识别评分变化来自被测模型还是裁判协议。
进一步阅读:评估方法按目标选择;选择题协议也影响测量;首个选项字母可能误抽取;选择题分数不等于实际效用;偏好胜率是相对观测;等级更新取决于意外程度;逐场等级更新受顺序影响;联合偏好拟合仍需检查数据;裁判评分需要具体量规;裁判能力也要人工校准;评估成本包括裁判调用;进程存在不代表服务就绪;服务地址配置要两端一致;流式响应按协议逐项处理;固定采样参数不保证跨环境一致;步骤奖励与结果奖励分开。
跨章综合
全书可以用“行为—判据—预算—状态”连接。行为是模型实际生成与更新了什么;判据是正确、偏好或代理评分究竟代表什么;预算包括候选数、输出长度、批评、评分和训练;状态则包含权重、模板、KV、位置、优化器和数据版本。漏掉任意一类,都可能把接口错误或条件变化当成方法收益。
第一条跨章联系是生成与评分的区别:生成逐步选择新token,固定序列评分可并行读取各位置概率;可微评分又不同于无梯度推理。第二条是评估与奖励的联系:同一个终值判分器进入训练后,其格式和解析漏洞也可能被优化放大。第三条是成本与质量的区别:缓存、编译、多候选和训练改变不同部分,不能直接用“更多计算”解释一切。
贯穿各章的实践原则是固定协议、保存原文与配置、先检查边界,再比较效果。这里的综合由本次已提供章节归纳,不补写未提供的后续训练与蒸馏内容。
发散与实践
本次采用两项读者延伸:缓存实现深读,以作者固定提交及测试追踪请求状态与终止;判分边界工作表,以本地源码已见问题准备有限验收样本。文件名为idea-001-缓存实现深读.md与idea-002-判分边界工作表.md,可点击入口见概览。
前者已核验项目、提交、入口并准备三条初步映射和两层计划;后者交付具体行动、输入范围和完成判据。它们尚未执行模型训练或真实服务评估。未采用下载多个大模型比较、完整重造训练框架或调用付费裁判,因为当前目标可先由有限源码阅读与验收设计回答。