此笔记位置已失效,请从目录继续阅读。
全书导读
这是一本以机制为主线的中文大语言模型专著,覆盖从分词、注意力、预训练目标到稀疏专家、检索增强、偏好对齐、视觉语言模型与能耗核算的完整链条。它不是 API 手册,也不是论文综述:每一章都先说明要解决什么问题,再拆开结构与算法,最后交代代价与失效条件。
阅读时可以带三个问题进去。第一,这个机制替代了原来哪种做法,省掉的是什么代价。第二,它的收益来自哪一条假设,这条假设在什么条件下不成立。第三,它在作者的叙述里处于哪一段——是已经收敛的基础结构(如自注意力、因果语言建模),还是仍在竞争的路线(如长上下文、路由算法、对齐信号来源)。
全书的证据以机制解释和方案对照为主,模型名称与实验数字用作例证。因此书中关于性能的结论会随模型换代而过时,而关于为什么这样设计、代价落在哪里的判断更耐久。读的时候值得把两类陈述分开记录:一类可以迁移,一类需要用自己的环境重新测。
全书主线
全书的主线可以概括为一句话:把一个”预测下一个词元”的统计目标,逐步工程化成能对话、能看图、能按人偏好行事的系统,而每一步都要为新增能力支付一种具体代价。
第一步是把语言变成可计算的对象。语言模型把一段文本的概率分解成逐词元条件概率的连乘,n-gram 用马尔可夫假设把它截断到固定窗口,代价是参数随窗口指数增长与数据稀疏;神经语言模型用分布式表示共享统计强度,代价是算力。分词决定”词元”是什么,也就决定了序列长度、词表规模与跨语言效率。
第二步是把结构做成可并行、可堆叠的。Transformer 用自注意力让任意两个位置直接交互,摆脱循环网络的串行依赖,代价是打分矩阵随序列长度平方增长;位置嵌入、掩码和编码器-解码器分工,决定了模型是”续写”还是”改写”。
第三步是让规模成为方法。缩放法则说明损失随参数、数据、算力按幂律下降,于是问题从”怎么设计”变成”怎么训得起”:并行切分、混合精度、重计算、分片优化器状态,都是为同一件事服务——把一次前向反向摊到成千上万张卡上而不损失数值稳定。稀疏专家模型把”参数多”和”算得多”解耦,检索增强把”记住”从参数里搬到外部索引。
第四步是让模型与人配合。上下文学习与轻量微调解决”怎么用得便宜”,偏好对齐解决”输出该往哪个方向偏”,偏见与有害性的削减解决”哪些输出不该出现”,视觉语言模型把同一套语言接口扩展到图像。最后,环境影响一章提醒:前面所有效率手段最终都要落到电与碳上。
这三条线索彼此咬合:结构与目标决定能力的形状,规模与效率决定能力的上限,对齐与评测决定能力被允许释放多少。
前言
这本书的前言把写作动机交代得很直接:能力增长快于共识形成。模型已经在改变交流、学习与工作的方式,而关于它们能做什么、不该做什么的讨论仍未稳定,于是先讲清机制的紧迫性超过了先给结论的诱惑。前言同时给出了十二章的路线:第1章概述争辩与未来方向,第2到第5章建立语言建模、Transformer、预训练目标与适配方法的底座,第6到第9章转入规模、稀疏专家、检索与偏好对齐,第10到第12章处理偏见与有害性、视觉语言模型和环境代价。
读者对象被明确限定在自然语言处理、机器学习与人工智能方向的学生、研究人员和从业者,同时欢迎关心社会影响的政策、教育与媒体读者。这个双读者设定解释了全书写法:机制部分给推导与对照,社会影响部分给证据与边界,而不给行动口号。
卡片的取舍见下:一张记录写作动机如何塑造取材,一张把十二章画成三段路线。
本章卡片:
- 写这本书的紧迫感来自哪|普通读书笔记卡
- 十二章的三段路线|结构图卡
原书依据 · 2 处
第1章 大语言模型:辩论、争议与未来发展方向
本章不教怎么训练模型,而是把大语言模型放回机器能否理解语言这个老问题里,给出争论的坐标系和未来方向的驱动因素。
开篇确立事实基线:LLM 是数十亿参数的深度网络,在 TB 级语料上用自监督方式预测被遮蔽的词元。这个目标决定了一切后续讨论的性质——模型掌握的是语言分布的统计结构,能力与局限都从这一点长出来。它在解题、对话、解释上的表现,让会说话的机器第一次显得可信。
1.2 是全章重心。它先给出四层立场谱系(还原主义、无理解能力、认真对待涌现、朴素拟人主义),指出争论常因双方在不同层次取证而不交汇;一次对研究者的调查中 51% 对 49% 的分裂,说明缺的不是实验而是判据。接着逐个检验几种判据:碳基生物学不是逻辑必然,而是可检验的经验假设;中文房间说明符号操作不产生语义,也说明通过图灵测试不等于发生了理解;落地论把矛头从有没有身体指向有没有指称,而它的三处薄弱(必要性未证、意义被窄化为指称、表征本是多元)让它无法成为否证的终点;世界模型与沟通意图的讨论则显示,很多概念之争可以被改写成当前模型里是否存在的经验问题,探针实验已经在棋类模型里找到了内部棋盘表征。系统性论批判神经网络只能类比泛化,反证是自然语言本身只有准构成性与部分生产性,参照物并不比模型更系统。
1.3 转向建设性方向,最有用的框架是把语言能力拆成形式与功能两层:预训练直接诱导语法知识,而世界知识、情景建模、社会推理需要额外信号——指令微调、人类反馈强化学习、领域语料、多模态落地。功能能力的缺口有结构性来源,如报告偏差让文本系统性地遗漏共识信息。工程侧有四个驱动力:数据墙推动合成数据与自我改进;稀疏专家模型用激活稀疏换取规模与可解释性;幻觉推动检索增强与引用;通用性增强则指向智能体——从只能输出文本,到能在互联网上读取、写入并行动。全章末尾落在机制仍未明、伦理须前置这一判断上。
本章卡片:
- 自监督让规模变成能力|普通读书笔记卡
- 理解之争的四层立场|普通读书笔记卡
- 碳基特权是可检验假设|普通读书笔记卡
- 中文房间:句法不等于语义|普通读书笔记卡
- 落地论:意义在语言之外|普通读书笔记卡
- 落地论的三处薄弱|普通读书笔记卡
- 世界模型之争是经验问题|普通读书笔记卡
- 没有意图的文本会漂移|普通读书笔记卡
- 系统性论与它的反证|普通读书笔记卡
- 形式能力不等于功能能力|普通读书笔记卡
- 涌现:规模带来的意外能力|普通读书笔记卡
- 数据墙与自造数据|普通读书笔记卡
- 稀疏专家:用激活稀疏换规模|普通读书笔记卡
- 幻觉的根源是奖励错位|普通读书笔记卡
原书依据 · 14 处
- 第1章 大语言模型:辩论、争议与未来发展方向 · 查看原书依据
- 第1章 大语言模型:辩论、争议与未来发展方向 · 查看原书依据
- 第1章 大语言模型:辩论、争议与未来发展方向 · 查看原书依据
- 第1章 大语言模型:辩论、争议与未来发展方向 · 查看原书依据
- 第1章 大语言模型:辩论、争议与未来发展方向 · 查看原书依据
- 第1章 大语言模型:辩论、争议与未来发展方向 · 查看原书依据
- 第1章 大语言模型:辩论、争议与未来发展方向 · 查看原书依据
- 第1章 大语言模型:辩论、争议与未来发展方向 · 查看原书依据
- 第1章 大语言模型:辩论、争议与未来发展方向 · 查看原书依据
- 第1章 大语言模型:辩论、争议与未来发展方向 · 查看原书依据
- 第1章 大语言模型:辩论、争议与未来发展方向 · 查看原书依据
- 第1章 大语言模型:辩论、争议与未来发展方向 · 查看原书依据
- 第1章 大语言模型:辩论、争议与未来发展方向 · 查看原书依据
- 第1章 大语言模型:辩论、争议与未来发展方向 · 查看原书依据
第2章 语言模型和分词
本章要解决两件事:把一段文本变成一个可以计算的概率,以及把一条字符串变成模型能吃的词元序列。前一半是语言模型,后一半是分词。共同前提:模型的最小单位是词元,切法决定词表大小、序列长度,也决定困惑度的分母。
起点是自然语言的不可形式化:编程语言无二义、规则可枚举,自然语言在交际中生长,语言学家也拿不出完备语法。既然规则判定不可行,就改用概率:语言模型是一个函数 P,给词表上的词元序列 W 打一个 0 到 1 的分,分数表示这段序列有多像真实语言。这个分数要同时反映语法与世界知识,因此比语法判分更宽也更难。
整句估概率不可行:长度 L 的序列有 |V| 的 L 次方种。概率链规则把联合概率拆成条件概率连乘:每一步在给定全部历史时预测下一个词。这只是恒等变形,难度被搬到了条件部分——历史任意长,语料里几乎不会重复出现。n 元语法用马尔可夫假设截断历史,只保留最近 n−1 个词。收益是参数从指数级降到 |V| 的 n−1 次方,每一项都能靠计数(最大似然估计)估出来;代价是长距离依存被丢弃,阶数一高就撞上数据稀疏。稀疏导致零概率:没见过的 n 元组为 0,整句连乘后归零。平滑(拉普拉斯、古德-图灵、Kneser-Ney)把概率质量从未观测组合挪一部分出来,借相似上下文回退,代价是抹平真实差异。
统计模型的瓶颈在表示:词是离散索引,dog 与 cat 在参数空间里正交,搭配知识无法迁移。神经语言模型先把词映射成稠密向量(词嵌入),让用法相近的词靠近,参数按维度共享而非按词切分,于是没精确见过的组合也能得到合理概率。上下文长度随之解放:LSTM 把历史压进隐状态,等效 n 为无穷,但串行难训;Transformer 在固定窗口内全连接,可并行、易训练,代价是窗口外不可见。GPT-3 取 2048,说明把窗口设成足够大是可行的工程策略。
评估分两层。外部评估看接入任务后的效果,最真实但昂贵;内部评估用测试集上的困惑度,即按词元数归一化的逆概率,可理解为模型每步平均在多少个等概率候选间犹豫。困惑度的坑:对训练集词频敏感,可能被分布重合压低;分母是词元数,跨分词器、跨语言都不可比;它只测概率拟合,与下游效果不必然一致。
分词围绕一个取舍展开:词元太多则序列变长、二次复杂度吃不消;词元太少则词表爆炸、形态之间无法共享参数。词级分词受困于 OOV 与五十万级词表,字符级分词消灭 OOV 却让序列膨胀数倍且表征变弱。子词分词取中间:BPE 自底向上按频率合并相邻符号,字节级 BPE 把基础词表换成 256 个字节以彻底消灭 UNK;SentencePiece 把空格当普通符号,内部跑 BPE 或 unigram;unigram 反向操作,从大词表按似然损失最小逐批删符号。最后是无分词器与可学习分词:ByT5 直接建模字节(小模型占优、大模型劣势),Charformer 用多粒度字符块加权,MANTa 学可微块边界。
本章承上启下:第 1 章把大模型当作整体,本章拆开第一层,说明预测下一个词元这一目标如何估、如何评;第 3 章接手 Transformer 内部,把这里只作为选项提到的上下文长度与并行性讲透。
本章卡片:
- 语言模型是序列概率函数|普通读书笔记卡
- 链规则把整句拆成条件概率|普通读书笔记卡
- 马尔可夫假设与 n 元语法|普通读书笔记卡
- 用计数估出 n 元语法概率|普通读书笔记卡
- 零概率与平滑的基本思路|普通读书笔记卡
- 词嵌入让相似词共享参数|普通读书笔记卡
- 上下文长度与训练代价|普通读书笔记卡
- 困惑度:平均分支系数|普通读书笔记卡
- 困惑度的可比性边界|普通读书笔记卡
- 词表粒度的两难|普通读书笔记卡
- BPE:按频率合并出子词|普通读书笔记卡
- 字节级 BPE 消灭 UNK|普通读书笔记卡
- 把空格当作普通符号|普通读书笔记卡
- 无分词器与可学习分词|普通读书笔记卡
第3章 Transformer
本章讲的是取代循环结构的序列建模方案:当序列很长时,RNN 必须把信息一步步传递,路径长、难以并行;Transformer 让每个位置直接与序列中所有位置计算相关性,路径长度为常数,且整段序列可以同时算,因而能在 GPU、TPU 上充分利用并行度。代价是注意力要对所有位置两两打分,计算量随序列长度呈二次增长,这一矛盾贯穿全章。
3.1 从最小构件讲起:一个编码器模块由多头自注意力、前馈网络、残差连接与层归一化组成,输入输出同长同维。层归一化的位置(Post-LN 还是 Pre-LN)决定了训练是否稳定、是否需要学习率预热;复杂度分析则指出自注意力是长序列的主要开销。3.2 把这个模块放进编码器-解码器框架:编码器全可见地读输入,解码器用掩码自注意力保证只能看已生成的前缀,再用交叉注意力从编码器输出中取信息。3.3 解决注意力本身不区分顺序的问题:绝对位置编码把位置向量加到输入上,相对位置编码则直接改写注意力得分,从正弦编码、可学习编码一路发展到截断相对位置、ALiBi 的固定距离惩罚和 RoPE 的旋转表示。
3.4 处理更长的上下文,思路有三条:复用或压缩过去的状态(Transformer-XL、压缩 Transformer)、让模型学会把注意力跨度或记忆寿命变短(自适应跨度、Expire-Span)、以及只对重要词元做重计算(CoLT5)。3.5 把记忆搬到模型外部:kNN-LM 用键值库做最近邻检索并插值,SPALM 用门控融合短期缓存与长期检索,记忆 Transformer 在解码器顶部加 kNN 增强注意力,RMT 则用可读写的记忆词元把段与段串起来。
3.6 与 3.7 转向效率:稀疏注意力把每个查询的候选从全序列压缩到固定模式、可学习模式或低秩表示;条件计算按样本难度分配算力,混合专家、ACT、通用 Transformer 属于这一类;多查询注意力让所有头共享键值,直接缩小推理时的缓存。推理侧的手段包括 KV 缓存复用、用小模型起草再由大模型校验的推测解码、跨层线性近似跳层、结构化与非结构化修剪、知识蒸馏、混合精度与量化,以及在多设备上切分权重和缓存。全章的主线可以概括为:注意力换来了并行与长程建模,但二次复杂度与缓存显存必须靠结构改造、稀疏化、记忆外置和推理工程共同抵消。
本章卡片:
- 自注意力:查询、键与值|普通读书笔记卡
- 自注意力数据流|结构图卡
- 多头注意力:并行的子空间|普通读书笔记卡
- 残差与层归一化|普通读书笔记卡
- 前馈层:逐位置的通道变换|普通读书笔记卡
- 编码器-解码器结构|结构图卡
- 掩码与交叉:谁能看见谁|普通读书笔记卡
- 位置嵌入:顺序如何注入|普通读书笔记卡
- 相对位置:只关心距离|普通读书笔记卡
- RoPE:用旋转表示相对位置|普通读书笔记卡
- 长上下文:代价与三条路线|问题卡
- 段间循环与压缩记忆|普通读书笔记卡
- 学出来的注意力跨度与遗忘|普通读书笔记卡
- 外部记忆的四种接法|普通读书笔记卡
- 稀疏注意力:局部、全局与组合|普通读书笔记卡
- 条件计算:按难度分配算力|普通读书笔记卡
- 多查询与分组查询注意力|普通读书笔记卡
- KV缓存:解码的复用机制|结构图卡
- 推测解码:小模型起草|普通读书笔记卡
- 更小模型:修剪、蒸馏与量化|普通读书笔记卡
原书依据 · 20 处
- 第3章 Transformer · 查看原书依据
- 第3章 Transformer · 查看原书依据
- 第3章 Transformer · 查看原书依据
- 第3章 Transformer · 查看原书依据
- 第3章 Transformer · 查看原书依据
- 第3章 Transformer · 查看原书依据
- 第3章 Transformer · 查看原书依据
- 第3章 Transformer · 查看原书依据
- 第3章 Transformer · 查看原书依据
- 第3章 Transformer · 查看原书依据
- 第3章 Transformer · 查看原书依据
- 第3章 Transformer · 查看原书依据
- 第3章 Transformer · 查看原书依据
- 第3章 Transformer · 查看原书依据
- 第3章 Transformer · 查看原书依据
- 第3章 Transformer · 查看原书依据
- 第3章 Transformer · 查看原书依据
- 第3章 Transformer · 查看原书依据
- 第3章 Transformer · 查看原书依据
- 第3章 Transformer · 查看原书依据
第4章 预训练目标和解码策略
自然语言处理的范式从特征工程、架构工程走到预训练加微调,再走到预训练、提示与预测,核心变化是用无标注文本自监督地学通用表征,而不是为每个任务标数据。本章讨论这条流水线的两端:训练时用什么架构与目标函数,推理时用什么策略把概率分布变成词元序列。
架构上,Transformer 的变体由注意力掩蔽模式区分:全双向的是仅编码器(BERT 系),全因果的是仅解码器(GPT 系),前缀段双向、后缀段因果的是前缀语言模型,编码器双向加解码器因果并用交叉注意力连接的是编码器-解码器(T5、BART)。掩蔽模式决定一个位置能看见哪些位置,也就决定模型能承担什么任务:双向适合理解与填空,因果适合生成,编码器-解码器适合“输入一段、输出另一段”的转换。仅编码器因只能输出与输入等长的词元而退出主流;同等算力下编码器-解码器的参数约为仅解码器的两倍,两者归纳偏置却很接近,这是普遍选仅解码器的现实理由。
预训练目标就是把掩蔽模式翻译成损失函数:因果语言建模只对下一个词元算负对数似然;掩蔽语言建模只对被挖位置算损失,并用 80/10/10 的替换比例缓和 [MASK] 在预训练与微调间的分布不一致;前缀语言建模只对前缀之后的词元算损失;T5 的跨度损坏把连续短跨度换成哨兵词元,目标序列变成“哨兵加被删内容”。中间填充把文档中段搬到末尾再自回归训练,使模型能在光标处插入,且只要偶尔保留原序就不伤续写能力,即 FIM-for-free。UL2 用范式词元在一个模型里调度多种去噪任务,MiM 用共享参数的前向与后向解码流加一致性正则从两个方向获取监督。
4.3 把机制落到模型族:BERT 及其改进(RoBERTa 删去下一句预测、ELECTRA 改为替换词元检测、XL-Net 排列式自回归、ALBERT 与 DistilBERT 压缩)、GPT-2 与 GPT-3 的规模路线、PaLM 的并行层与 SwiGLU 等改造、OPT 与 BLOOM 的开源复现、LLaMA 以公开数据和更小参数逼近更大模型,以及 Alpaca、Vicuna、Dolly2 这类指令微调衍生品。共同结论是:架构与目标决定能力边界,参数与数据配比决定同等算力下的效率,训练稳定性与成本在大尺度上成为主要矛盾。
4.4 转向解码:模型只输出下一个词元的概率分布,选哪个词元与架构同等重要。贪心与束搜索追求高概率串,但最大似然串常常乏味重复;温度调节分布锐度,top-k 固定候选数,top-p 按累计概率自适应截断长尾,两者常串联;局部典型采样以“信息量接近该上下文的期望值”为标准换取自然度;RANKGEN 把解码拆成生成候选加长程兼容性重排,针对教师强制带来的暴露偏差;掩蔽预测走非自回归路线,并行预测后反复重掩蔽最不自信的位置。总体线索是:训练目标塑造分布,解码策略决定从中取出什么,二者的错配正是高概率却不像人话的根源。
本章卡片:
- 掩蔽模式划分架构家族|结构图卡
- 仅编码器为何被弃用|普通读书笔记卡
- 因果语言建模:预测下一词|普通读书笔记卡
- 掩蔽语言建模:双向填空|普通读书笔记卡
- 前缀语言建模的半双向|普通读书笔记卡
- T5 跨度损坏与三种口径|普通读书笔记卡
- 中间填充让模型补中段|普通读书笔记卡
- UL2:一个模型多种去噪|普通读书笔记卡
- MiM:前后向互相校准|普通读书笔记卡
- 参数不是唯一尺度|普通读书笔记卡
- PaLM 的工程化改造|普通读书笔记卡
- 贪心与束搜索的盲点|操作参考卡
- 温度与截断采样速查|操作参考卡
- 局部典型采样求自然|普通读书笔记卡
- RANKGEN:给生成结果打分|普通读书笔记卡
- 掩蔽预测:并行迭代解码|普通读书笔记卡
原书依据 · 16 处
- 第4章 预训练目标和解码策略 · 查看原书依据
- 第4章 预训练目标和解码策略 · 查看原书依据
- 第4章 预训练目标和解码策略 · 查看原书依据
- 第4章 预训练目标和解码策略 · 查看原书依据
- 第4章 预训练目标和解码策略 · 查看原书依据
- 第4章 预训练目标和解码策略 · 查看原书依据
- 第4章 预训练目标和解码策略 · 查看原书依据
- 第4章 预训练目标和解码策略 · 查看原书依据
- 第4章 预训练目标和解码策略 · 查看原书依据
- 第4章 预训练目标和解码策略 · 查看原书依据
- 第4章 预训练目标和解码策略 · 查看原书依据
- 第4章 预训练目标和解码策略 · 查看原书依据
- 第4章 预训练目标和解码策略 · 查看原书依据
- 第4章 预训练目标和解码策略 · 查看原书依据
- 第4章 预训练目标和解码策略 · 查看原书依据
- 第4章 预训练目标和解码策略 · 查看原书依据
第5章 上下文学习和轻量级微调
第5章处理的是一个现实约束:模型参数涨得比显存快,全参微调对多数人不可行,于是出现两条替代路线——不改参数的上下文学习(ICL)和只改少量参数的轻量级微调(LFT)。
5.1 把 ICL 拆成一条流水线:先决定提示怎么写(指令、示范、格式),再决定示范从哪来(k 近邻检索、图上的多样性覆盖、用语言模型标注训练检索器、影响力打分、策略梯度选样)、按什么顺序摆(熵、遗传搜索、编码长度),以及指令能否由模型自己归纳。随后是推理增强:思维链把中间步骤写进示范,零样本 CoT、自洽性、自问、工具调用是它的轻量变体;反向链接与问题分解把复杂任务拆成可逐步关闭的子目标;便笺簿与 STaR 则把这种分解能力从提示迁移到权重。关于 ICL 为何有效,本章给出三种互补解释:提示锐化潜在概念的后验、Transformer 在上下文中拟合函数、注意力等价于一步梯度下降因而 ICL 是隐式微调。5.1 末尾的评估说明 ICL 仍落后全参微调,且对示范与指令高度敏感。
5.2 正面处理这种敏感性:同一提示换顺序可从 54.3% 跳到 93.4%,背后是多数标签、重复、常见词元三类偏差造成的分布平移;用无内容输入估计偏移、再用对角仿射变换校正,无需训练数据。表面形式竞争则说明直接概率不适合比较同义说法,需要用 PMI、领域条件 PMI 或通道模型重新打分。
5.3 转向 LFT:只训练一小部分参数,按“动哪里”分为添加(适配器、软提示、前缀、IA3)、规范(BitFit、FishMask、FAR)、重参数化(LoRA、KronA),以及混合(MAM、Compacter、S4)。贯穿其中的权衡是可训练参数、显存、推理开销与最终质量四者的取舍:能合并进原权重的方案推理零开销,串行插层的方案灵活但有延迟。
本章承接前文的预训练模型与提示使用,为后续的指令微调与人类对齐埋下伏笔:ICL 解决“不训练怎么用”,LFT 解决“少训练怎么调”,二者共同构成大模型落地的主要工程手段。
本章卡片:
- 冻结权重,把任务写进提示|普通读书笔记卡
- 零样本与少样本的分界|普通读书笔记卡
- 示范选择:相似还是多样|普通读书笔记卡
- 训练一个会挑示范的检索器|普通读书笔记卡
- 给每个示范算影响力|普通读书笔记卡
- 样本顺序为何如此敏感|普通读书笔记卡
- 让模型自己写任务指令|普通读书笔记卡
- 思维链:把推理写进示范|普通读书笔记卡
- 思维链的几种轻量变体|普通读书笔记卡
- 反向链接更适合演绎推理|普通读书笔记卡
- 问题分解:提示与训练两条路|普通读书笔记卡
- ICL 为什么有效|普通读书笔记卡
- 指令微调与上下文学习的分工|普通读书笔记卡
- 提示敏感与三类偏差|普通读书笔记卡
- 无数据也能校准提示|普通读书笔记卡
- 表面形式竞争与 PMI 校准|普通读书笔记卡
- 轻量级微调的三条路线|结构图卡
- 适配器:窄瓶颈插层|普通读书笔记卡
- 提示调优与前缀调优|普通读书笔记卡
- IA3:三个缩放向量|普通读书笔记卡
- LoRA:用低秩增量改权重|普通读书笔记卡
- 参数高效微调对照表|普通读书笔记卡
原书依据 · 22 处
- 第5章 上下文学习和轻量级微调 · 查看原书依据
- 第5章 上下文学习和轻量级微调 · 查看原书依据
- 第5章 上下文学习和轻量级微调 · 查看原书依据
- 第5章 上下文学习和轻量级微调 · 查看原书依据
- 第5章 上下文学习和轻量级微调 · 查看原书依据
- 第5章 上下文学习和轻量级微调 · 查看原书依据
- 第5章 上下文学习和轻量级微调 · 查看原书依据
- 第5章 上下文学习和轻量级微调 · 查看原书依据
- 第5章 上下文学习和轻量级微调 · 查看原书依据
- 第5章 上下文学习和轻量级微调 · 查看原书依据
- 第5章 上下文学习和轻量级微调 · 查看原书依据
- 第5章 上下文学习和轻量级微调 · 查看原书依据
- 第5章 上下文学习和轻量级微调 · 查看原书依据
- 第5章 上下文学习和轻量级微调 · 查看原书依据
- 第5章 上下文学习和轻量级微调 · 查看原书依据
- 第5章 上下文学习和轻量级微调 · 查看原书依据
- 第5章 上下文学习和轻量级微调 · 查看原书依据
- 第5章 上下文学习和轻量级微调 · 查看原书依据
- 第5章 上下文学习和轻量级微调 · 查看原书依据
- 第5章 上下文学习和轻量级微调 · 查看原书依据
- 第5章 上下文学习和轻量级微调 · 查看原书依据
- 第5章 上下文学习和轻量级微调 · 查看原书依据
第6章 训练更大的模型
本章回答一个工程问题:单卡装不下、也等不起的大模型,怎样才能训出来。6.1 节先给出预测工具——缩放法则。损失与参数量 N、词元数 D、算力 C 呈幂律关系,配上 C ≈ 6ND 的算力恒等式,就能在动手之前估算“多大的模型配多少数据能到什么损失”。这里发生过一次著名修正:Kaplan 等(2020)认为扩张预算应优先给参数(参数增 8 倍只需数据增 5 倍),GPT-3 的 175B 参数配 300B 词元就是这一路线的产物;Chinchilla 指出该结论被“所有规模共用一条退火计划”污染,按等比例扩(模型翻倍、词元也翻倍,约 20 词元/参数)训练的 70B 模型反而打败了 175B 的 GPT-3。缩放法则还被推广到别处:推理阶段的比特级法则(同样内存下宁选大模型低比特),以及上游困惑度与下游能力并不完全一致的经验。6.2 节讨论涌现:某些能力在规模跨过阈值后突然出现,像相变;另一种分析认为这多半是“整题全对”这类非线性指标把平滑进步折叠成阶跃,再加上小模型测试样本不足造成的错觉。6.3 节转向硬件:Dennard 缩放终结、功耗墙出现之后,算力只能靠并行与专用化,而 AI 的计算恰好是少量算子的大规模张量运算,因此特别适合加速器;GPU 与 TPU 的差别主要在显存层次与互连拓扑,而显存增长(两年约 2 倍)远慢于模型增长(两年约 35 倍),并行因此不是优化而是唯一出路。6.4 节是全章主干:数据并行切批次、靠梯度全归约保持一致,环全归约把通信量做成与卡数几乎无关;流水线并行切层、用微批次填气泡;张量并行切层内矩阵、每层都要集合通信;序列并行切序列长度、用环自注意力补上注意力所需的全局视野。四者切的是不同维度、代价也不同,可以叠加成多维并行;此外还有按专家切分的混合专家。显存不够时另有一套手段:ZeRO 把优化器状态、梯度、参数逐级分片,重计算用算力换显存,卸载用带宽换显存,ZeRO-Infinity 甚至把状态放到 NVMe。6.5、6.6 节收在数值与内存细节:半精度需要主权重、损失缩放与 fp32 累加三道保险,bf16 用指数位换尾数位;FP8 与 INT8 的选择取决于被量化值的分布;8 位优化器用分块动态量化压缩 Adam 状态。全章的逻辑线索是:先用缩放法则决定“训多大”,再用并行与内存技术解决“怎么装下”,最后用低精度与压缩解决“怎么算得快、放得下”。
本章卡片:
- 损失随规模按幂律下降|普通读书笔记卡
- 用6ND估算训练算力|普通读书笔记卡
- 参数与数据谁先耗尽|普通读书笔记卡
- Chinchilla配比法则|普通读书笔记卡
- 退火计划错位让法则失真|普通读书笔记卡
- 比特级缩放法则|普通读书笔记卡
- 涌现:跨过阈值才出现|普通读书笔记卡
- 涌现可能是度量错觉|普通读书笔记卡
- 专用加速器与利用墙|普通读书笔记卡
- GPU与TPU:显存与互连|普通读书笔记卡
- 数据并行与梯度同步|普通读书笔记卡
- 环全归约的通信量恒定|普通读书笔记卡
- 大批次为何伤泛化|普通读书笔记卡
- 流水线并行与气泡|普通读书笔记卡
- 张量并行切矩阵|普通读书笔记卡
- 序列并行与环自注意力|普通读书笔记卡
- ZeRO三阶段分片|普通读书笔记卡
- 重计算与卸载换显存|普通读书笔记卡
- 半精度训练的三道保险|普通读书笔记卡
- FP8与INT8怎么选|普通读书笔记卡
- 8位优化器省显存|普通读书笔记卡
- 并行切分维度全景|结构图卡
原书依据 · 22 处
- 第6章 训练更大的模型 · 查看原书依据
- 第6章 训练更大的模型 · 查看原书依据
- 第6章 训练更大的模型 · 查看原书依据
- 第6章 训练更大的模型 · 查看原书依据
- 第6章 训练更大的模型 · 查看原书依据
- 第6章 训练更大的模型 · 查看原书依据
- 第6章 训练更大的模型 · 查看原书依据
- 第6章 训练更大的模型 · 查看原书依据
- 第6章 训练更大的模型 · 查看原书依据
- 第6章 训练更大的模型 · 查看原书依据
- 第6章 训练更大的模型 · 查看原书依据
- 第6章 训练更大的模型 · 查看原书依据
- 第6章 训练更大的模型 · 查看原书依据
- 第6章 训练更大的模型 · 查看原书依据
- 第6章 训练更大的模型 · 查看原书依据
- 第6章 训练更大的模型 · 查看原书依据
- 第6章 训练更大的模型 · 查看原书依据
- 第6章 训练更大的模型 · 查看原书依据
- 第6章 训练更大的模型 · 查看原书依据
- 第6章 训练更大的模型 · 查看原书依据
- 第6章 训练更大的模型 · 查看原书依据
- 第6章 训练更大的模型 · 查看原书依据
第7章 稀疏专家模型
第7章讨论如何在不让计算量按比例上涨的前提下把语言模型做大。稠密模型的参数、算力、显存同步增长,而放大尺度法则又表明性能随规模呈幂律提升,于是“多参数、少激活”成为一条现实的扩容路线。稀疏专家模型(MoE)把 Transformer 的前馈层换成一组结构相同、各自训练的专家,再用门控函数为每个词元挑选少数专家:参数量随专家数增长,单次前向的浮点运算只随被激活的专家数增长,容量与计算被解耦。
7.1 先回答“为什么值得”。专家可以针对数据分布的局部区域专门化,门控在推理时只计算一小部分;证据包括 ST-MoE 用约二十分之一的算力超过更大的稠密模型、每词元 FLOP 上的准确率更优、校准更好、路由决策可检查。代价是训练不稳定(损失发散比稠密模型更严重)、同等困惑度下稠密模型往往更好,Router-Z 损失与小批量大学习率等技巧用于缓解。
7.2 是本章主体:路由。朴素路由不可微,Shazeer 的 top-k 门控用 softmax 概率给专家输出加权,让梯度能穿过离散选择;噪声 top-k 与重要性损失(按批次统计的变异系数平方)用来防止门控偏向少数专家形成自我强化。GShard 给每个专家设容量阈值、按局部组调度、以随机 top-2 补充;Switch Transformer 证明 top-1 也有竞争力,并用专家层更高的 dropout、更小的初始化、路由部分单独用 FP32 来稳定训练;容量上限带来的副作用是词元溢出被丢弃。除“词元选专家”外,还有反向的专家选择(每个专家挑 top-k 词元,规模预先确定、负载天然均衡,但需要预先看到全部词元,不适合自回归生成)、把路由写成线性分配的 BASE 与用 Sinkhorn 求解最优传输的 S-BASE(由算法保证均衡、无需辅助损失),以及完全静态的哈希层。表征崩溃是 top-1 路由的隐患:强制隐表征围聚在专家中心,会损害准确率。
7.3 转向工程与架构:TPU/XLA 要求静态形状,框架只能裁剪或填充每个专家的词元,块稀疏内核把 MoE 当成稀疏矩阵乘来消除这一超参;专家之间的参数冗余催生 MPOE,用矩阵乘积算符分解让专家共享中心张量、保留各自辅助张量;推理侧要面对全互换通信、显存占用与远高于稠密模型的延迟,靠专家融合成组矩阵乘、只量化静态权重、把填充词元交给虚拟专家来降本;同一套条件计算也被用于视觉语言模型,以及与集成模型的结合(pBE)。
7.4 收束:MoE 的价值在于把参数规模与计算成本解耦,但路由的可微性、负载均衡、稳定性与通信开销共同决定了它能否真正落地。这一章承接前文的尺度法则与 Transformer 结构,也为后续讨论训练系统与部署效率埋下伏笔。
本章卡片:
- 稀疏换规模:为何划算|普通读书笔记卡
- MoE 层:多参数、少计算|普通读书笔记卡
- 稀疏训练的稳定性代价|问题卡
- 门控打分与 top-k 软选择|结构图卡
- 负载均衡的辅助损失|普通读书笔记卡
- 专家容量与词元溢出|普通读书笔记卡
- 表征崩溃:top-1 的副作用|普通读书笔记卡
- top-1 够用:Switch|普通读书笔记卡
- 专家选择:让专家挑词元|普通读书笔记卡
- BASE:路由写成分配|普通读书笔记卡
- 哈希层:不学路由也能用|普通读书笔记卡
- 专家并行的通信瓶颈|结构图卡
- MPOE:专家冗余与参数共享|普通读书笔记卡
- 工程约束:形状、内核与量化|普通读书笔记卡
- MoE 与集成:互补而非替代|普通读书笔记卡
第8章 检索增强型语言模型
大模型把世界知识压进参数,代价是更新慢、说不清依据、每次推理都要搬动全部权重。本章的主线就是把这部分记忆搬到模型外面:用一个检索器在推理或训练时取回相关文本,再让语言模型基于证据生成。
8.1 先交代知识源的取舍。知识图谱精确但构建和更新昂贵;非结构化文本便宜、可扩展,却需要向量检索来定位证据。REALM 由此给出第一个完整范式:把文档当作潜变量,P(y|x) 分解为检索分布与生成分布的加权和,检索器与编码器用掩蔽词损失联合训练,并用最大内积搜索加速、周期性刷新索引。
8.2 把检索粒度从段落降到词元。kNN-MT 不改参数,把解码器状态与下一个词存成键值库,推理时取最近邻形成分布,再与模型输出按 λ 插值;代价是每词元检索一次,速度慢两个数量级。
8.3 转向检索质量本身。ColBERT 用后期交互在可预计算与细粒度匹配之间取平衡;ColBERT-QA 用 RGS 从答案字符串反推弱正样本,自举出问答专用检索器;Baleen 把检索改成带摘要状态的迭代循环,服务多跳推理。
8.4 的 RETRO 把检索嵌进架构:序列分块、冻结 BERT 建键值库、分块交叉注意力注入邻居,使 7B 模型在 Pile 上接近 GPT-3,而参数只有其 4%。8.5 的 REPLUG 则反过来,假设模型是黑盒,只调检索器并在输入输出两侧做集成,把检索增强带到 API 模型,但上限被检索质量锁死。
8.6 把同一思路推到视觉:VALM 为词元检索图像,用视觉融合层补上常识 grounding。全章因此呈现一条清晰的谱系:检索对象从段落、词元、块到图像,介入位置从提示、输出层到注意力,而对模型的可改造程度则从全白盒一路退到黑盒。真正的难点始终是同一件事——检索器与生成器的目标是否对齐。
本章卡片:
- 为什么要把记忆外包|普通读书笔记卡
- 知识图谱还是原始文本|普通读书笔记卡
- REALM:把检索当潜变量|普通读书笔记卡
- REALM 的索引刷新代价|普通读书笔记卡
- 让模型学会该查还是该记|普通读书笔记卡
- kNN-MT:给输出层加记忆|普通读书笔记卡
- 词元级检索贵在哪里|普通读书笔记卡
- 检索错了,生成也会错|普通读书笔记卡
- ColBERT:后期交互检索|普通读书笔记卡
- RGS:没有标注怎么训检索器|普通读书笔记卡
- Baleen:多跳要精简|普通读书笔记卡
- RETRO 的分块交叉注意力|结构图卡
- REPLUG:黑盒也能检索增强|普通读书笔记卡
- 视觉增强:给词元配图|普通读书笔记卡
原书依据 · 14 处
- 第8章 检索增强型语言模型 · 查看原书依据
- 第8章 检索增强型语言模型 · 查看原书依据
- 第8章 检索增强型语言模型 · 查看原书依据
- 第8章 检索增强型语言模型 · 查看原书依据
- 第8章 检索增强型语言模型 · 查看原书依据
- 第8章 检索增强型语言模型 · 查看原书依据
- 第8章 检索增强型语言模型 · 查看原书依据
- 第8章 检索增强型语言模型 · 查看原书依据
- 第8章 检索增强型语言模型 · 查看原书依据
- 第8章 检索增强型语言模型 · 查看原书依据
- 第8章 检索增强型语言模型 · 查看原书依据
- 第8章 检索增强型语言模型 · 查看原书依据
- 第8章 检索增强型语言模型 · 查看原书依据
- 第8章 检索增强型语言模型 · 查看原书依据
第9章 对齐语言模型与人类偏好
本章处理的问题是:一个按“预测下一个词元”训练出来的模型,能力再强,也不等于它愿意做人类希望它做的事。预训练目标只要求复现训练数据的分布,而训练语料里混着虚假信息、攻击性表达与错误代码,模型越忠实于目标,越可能产出人不想要的内容。这不是加数据能解决的,只能换目标,或另用一套信号把模型从似然目标上拉回来。全章就是围绕“用什么信号、在哪个阶段、以什么算法注入人类偏好”展开的一条谱系。
最直接的做法是把人的判断变成奖励。RLHF 分三步:先用演示数据做监督微调,得到初步听话的策略;再让人对同一提示的多个回答做成对比较,训练一个输出标量分数的奖励模型;最后用 PPO 以奖励模型的分数为目标优化策略,同时用 KL 惩罚把新策略拴在 SFT 模型附近。KL 在这里不是装饰:奖励模型只是人类偏好的代理,无约束地最大化它,策略会跑到奖励模型没见过的区域去刷分,表现为回答越写越长、堆砌讨好措辞、抓代理指标的漏洞,也就是奖励黑客。第 9.1 节进一步把 KL 讲透:前向 KL 是零避免、倾向覆盖目标分布的所有模式,反向 KL 是零强迫、只拟合目标的一部分;RLHF 的惩罚项属于反向 KL。沿贝叶斯视角看,带 KL 惩罚的强化学习等价于变分推断,最优策略正比于“先验语言模型乘以奖励的指数”,β 就是温度,调 β 等于在奖励与保持原分布之间换汇率。若把“某条回答得分高”换成“整批输出的统计特征要符合要求”,就得到 GDC 这类分布匹配方法:用基于能量的模型写出带矩约束的目标分布,再用分布策略梯度最小化前向 KL,可以处理性别比例平衡、禁用词等分布级偏好,f-DPG 则把两者统一为“选一种 f 散度去近似目标分布”,并指出没有普适最优的散度。
奖励信号不必是分数。9.2 的 ILF 让人用自然语言说“熊不是绿色的”,再由优化模型把这句话翻译成若干改写候选、由奖励模型排序,把最好的一条当作监督目标;9.3 的 HIR 则干脆绕开奖励模型,把指令当目标、把模型当目标条件策略,失败样本通过“后视重标注”变成可学习的目标,从而只用监督学习完成对齐。9.4 把标注者也换掉:RLAIF 用 AI 依据一组原则给回答打分,宪法式 AI 先让模型按原则批评并修订自己的回答(监督阶段),再用反馈模型的偏好训练奖励模型做强化学习(RL 阶段),人类只负责写原则和少量示例,这条思路的更大意义是可扩展监督——用 AI 监督 AI。9.5 把反馈收回模型自身:Self-Refine 让同一个模型交替生成、批评、修订,收益主要来自第一次迭代,反馈必须具体。9.6 则把对齐从微调前移到预训练:与其先学坏再矫正,不如在预训练时就用奖励函数给文档加权或打标签,条件训练效果最好,说明“从头学对”比“学会再删”更省力。
这些方法不是互斥替代品,而是同一条权衡曲线上的取点:反馈越贵越细,对齐越准;算法越复杂,越容易在分布外失效。本章上承预训练与指令微调,下接对齐评估与安全治理,核心结论是:对齐是一个目标设计问题,不是一个能力问题。
本章卡片:
- 能力与对齐不是一回事|普通读书笔记卡
- 语法相似度测不出人类偏好|普通读书笔记卡
- RLHF 的三步流水线|结构图卡
- 成对比较如何学出奖励|普通读书笔记卡
- PPO 里的三个模型与 KL|普通读书笔记卡
- 奖励黑客与长度偏置|普通读书笔记卡
- 前向 KL 与反向 KL|普通读书笔记卡
- 对齐即后验推断|普通读书笔记卡
- GDC:对齐分布而非单条输出|普通读书笔记卡
- 散度选择没有唯一最优|普通读书笔记卡
- 用自然语言反馈做微调|普通读书笔记卡
- 后视重标注:失败也是数据|普通读书笔记卡
- 宪法式 AI:按原则自我修订|结构图卡
- 可扩展的监督|普通读书笔记卡
- 迭代自我反馈|普通读书笔记卡
- 偏好预训练:把对齐前置|普通读书笔记卡
- 对齐的收益是有条件的|普通读书笔记卡
原书依据 · 17 处
- 第9章 对齐语言模型与人类偏好 · 查看原书依据
- 第9章 对齐语言模型与人类偏好 · 查看原书依据
- 第9章 对齐语言模型与人类偏好 · 查看原书依据
- 第9章 对齐语言模型与人类偏好 · 查看原书依据
- 第9章 对齐语言模型与人类偏好 · 查看原书依据
- 第9章 对齐语言模型与人类偏好 · 查看原书依据
- 第9章 对齐语言模型与人类偏好 · 查看原书依据
- 第9章 对齐语言模型与人类偏好 · 查看原书依据
- 第9章 对齐语言模型与人类偏好 · 查看原书依据
- 第9章 对齐语言模型与人类偏好 · 查看原书依据
- 第9章 对齐语言模型与人类偏好 · 查看原书依据
- 第9章 对齐语言模型与人类偏好 · 查看原书依据
- 第9章 对齐语言模型与人类偏好 · 查看原书依据
- 第9章 对齐语言模型与人类偏好 · 查看原书依据
- 第9章 对齐语言模型与人类偏好 · 查看原书依据
- 第9章 对齐语言模型与人类偏好 · 查看原书依据
- 第9章 对齐语言模型与人类偏好 · 查看原书依据
第10章 减少偏见和有害性
本章处理大语言模型进入产品后无法回避的问题:面对完全不受控的用户输入,模型会输出带偏见的判断或有害内容,而用户看不到训练数据与判断依据。开篇用两个场景摆问题——问“如何治疗癌症”可能得到危险建议,模型也可能表达攻击性观点。早期有两种应对:外挂分类器在输入输出两端拦截(OpenAI 的 API 判定为不当就声明无法生成),或用一小批问答对微调,把某种价值偏好写进权重。两者都不干净:过滤器难以处理微妙语境、缺数据、难可靠部署;价值微调会让模型遗忘预训练知识,“谁的价值”没有答案,覆盖范围难验证,创意写作这类需要多重视角的场景会被误伤。
正文把伦理问题拆成偏见与有害性两块。偏见先讲来源:语料规模大到无法审核,清洗又会压制边缘化社群的表达;采样偏差、报道偏差、平台排序不透明,都会让抓到的数据偏离现实。偏见的可观测形态落在具体任务上:指代消解把“她”错连到秘书,机器翻译给性别未知的 nurse 强行指派性别。跨语言场景还有代表性错配——维基百科各语言条目数与使用人数不成比例,语言识别在方言与欠发达地区明显退化。度量手段是用模板前缀诱导补全(bias probes),统计职业分布再与人口普查对照,结论是模型比现实更刻板;这类度量各有参照系,也各有以美国为中心、交叉维度不足的局限。
有害性部分给出可操作定义(粗鲁、不尊重、让人想离开对话),指出它依赖情境,并梳理识别手段的递进:坏词表不够用;Perspective API 给出 0 到 1 的属性分,但分数是可能性而非严重程度,且忽略标注者身份,对含身份词的文本系统性偏高;RealToxicityPrompts 把评测转向生成侧,用诱导提示测续写风险。
减少手段按“改动发生在哪一层”排列:解码层(PPLM 用属性模型梯度推隐藏状态,GeDi 直接改词分布并用贝叶斯折算,速度更快)、提示层(自我诊断读“是/否”概率,自纠偏按概率差压低不良词)、数据层(DAPT 在筛过的语料上继续预训练,SGEAT 用自生成数据提效,代价是遗忘与算力,模型越大越难脱毒)、表征层(投影到偏见子空间后减掉、投影到分类器零空间、加大 dropout)、文本层(风格转换改写句子,用循环一致性保内容)。第 9 章的 RLHF 与偏好预训练被指认为最后一条路线。落点是:没有一种方法能消除偏见与有害性,只有代价不同的权衡。
本章卡片:
- 偏见从语料里长出来|普通读书笔记卡
- 代词与译文里的性别默认|普通读书笔记卡
- 语料代表性与语言识别落差|普通读书笔记卡
- 偏见探针:用模板问模型|普通读书笔记卡
- 偏见度量的三种参照系|普通读书笔记卡
- 什么算有害:定义与情境|普通读书笔记卡
- 有害性打分器的陷阱|普通读书笔记卡
- 用诱导提示做生成侧压测|普通读书笔记卡
- 解码期去毒的两条路|普通读书笔记卡
- 模型自查:自诊断与自纠偏|普通读书笔记卡
- 数据侧去毒与规模的反噬|普通读书笔记卡
- 表征层去偏与文本改写|普通读书笔记卡
- 拒答的边界与代价|普通读书笔记卡
第11章 视觉语言模型
视觉语言模型要解决的问题是:语言模型只会读字,而人类的理解大量依赖看。把图像接入一个已经训练好的语言模型,难点不在“有没有视觉特征”,而在两种表征对不上——图像侧输出的是 patch 或区域向量,语言侧吃的是与词表同维的嵌入,维度、粒度、序列长度都不同。全章按“改动多少参数”把解法排成一条光谱,越往右能力越强、代价越高。
最左端是完全不训练。MAGIC 在解码时用图像-文本匹配分数重排候选词;视觉线索、苏格拉底模式、PICa 把图像先翻译成语言,让语言模型在模块之间充当中间表征;ASIF 干脆用相似度检索代替学习。它们的共同优点是便宜、可解释、可插拔,共同弱点是精度上限受前端描述质量限制。
中间是轻量适配。LiT 锁住图像编码器只训文本侧,说明一个对齐良好的图像空间不必再被改动;Frozen 与 ClipCap 把图像压成软前缀,前者从头训编码器,后者只训映射网络;MiniGPT-4 证明一个投影层就够用,真正的瓶颈是数据质量;Flamingo 用感知器重采样器加门控交叉注意力,把视觉信息插进语言层,并以交错输入获得上下文少样本能力;BLIP-2 则把对齐外包给 Q-Former,两阶段完成“学相关特征”和“接上大模型”。
右端是图文联合训练:把图像切成区域、patch 或离散码,与文本拼成一条序列,用 MLM 与 ITM 共同训练。它从根上取消了模态边界,适合 VQA、检索、定位等多任务,但需要大量图文对与算力,还要面对多任务互相拖累。
在两端的缝隙里还有两条横向思路。检索增强把知识放到外部库,用 EXTRA、Re-ViLM、SMALL-CAP 说明检索粒度可以从“相似描述”到“任意文本”,并要专门防止复制粘贴式走捷径;视觉指令调整则用 GPT-4 依据描述与检测框合成对话数据,把对齐好的模型变成能听懂指令的助手,而数据中的感知盲区也埋下了幻觉的种子。
从全书看,这一章是第 5 章前缀调优、第 8 章检索增强向视觉侧的延伸:同一个“冻结大模型、只训小接口”的思路被反复复用。它也为第 12 章讨论算力与环境成本埋下伏笔——联合训练与轻量适配之间的取舍,本质上也是算力预算的取舍。
本章卡片:
- 语言为何需要视觉落地|普通读书笔记卡
- 把图像接进语言模型的三条路|普通读书笔记卡
- 不改权重,只改解码|普通读书笔记卡
- 用语言当模块之间的中介|普通读书笔记卡
- 用相似度检索替代训练|普通读书笔记卡
- 锁住图像端,只训文本端|普通读书笔记卡
- 把图像变成一段软前缀|普通读书笔记卡
- 映射层的四种做法|普通读书笔记卡
- 只训一个投影层够不够|普通读书笔记卡
- 门控交叉注意力与交错输入|普通读书笔记卡
- Q-Former 当跨模态瓶颈|普通读书笔记卡
- 图文联合训练的数据流|结构图卡
- 一个视觉单位该有多大|普通读书笔记卡
- 检索增强为什么难做|普通读书笔记卡
- 用 GPT-4 造视觉指令数据|普通读书笔记卡
- 视觉语言模型的幻觉从哪来|普通读书笔记卡
原书依据 · 16 处
- 第11章 视觉语言模型 · 查看原书依据
- 第11章 视觉语言模型 · 查看原书依据
- 第11章 视觉语言模型 · 查看原书依据
- 第11章 视觉语言模型 · 查看原书依据
- 第11章 视觉语言模型 · 查看原书依据
- 第11章 视觉语言模型 · 查看原书依据
- 第11章 视觉语言模型 · 查看原书依据
- 第11章 视觉语言模型 · 查看原书依据
- 第11章 视觉语言模型 · 查看原书依据
- 第11章 视觉语言模型 · 查看原书依据
- 第11章 视觉语言模型 · 查看原书依据
- 第11章 视觉语言模型 · 查看原书依据
- 第11章 视觉语言模型 · 查看原书依据
- 第11章 视觉语言模型 · 查看原书依据
- 第11章 视觉语言模型 · 查看原书依据
- 第11章 视觉语言模型 · 查看原书依据
第12章 环境影响
前十一章关心的是模型能做什么、怎么训出来、怎么对齐,这一章把视线移到模型之外的账:为了得到这些能力,究竟向大气多排了多少温室气体。出发点是数据中心耗电,而同样的电对环境的意义并不相同,于是全章围绕一条乘法链展开——能耗乘上供电的碳强度,才是排放。
12.1 先建立换算尺。碳强度衡量每千瓦时电对应的碳排放,取决于当地电源结构:烧煤直接排放,水电、核电运行期几乎不排,但把电厂建设、采矿、废物处理算进生命周期,风光的排放也不是零。同一份计算放在以水电为主的魁北克与以煤为主的爱沙尼亚,结果能差到 96.7%,这直接说明“用了多少电”不足以比较环境影响,也说明了为什么减排有两条独立的路:少用电,或者用更干净的电。
12.2 把这条乘法链落成可算的公式。Strubell 的做法是自下而上:把 CPU、内存、GPU 的功率按数量加总,乘 PUE 补上冷却与配电的开销,乘训练时长得到千瓦时,再乘电网排放因子得到排放。这里每一个因子都是可核对、也是可出错的假设:功率取平均值、PUE 取全球均值 1.58、排放因子取美国均值,换一套假设,结论就变。Patterson 等人的简化式则把推理项显式写进来,理由是推理占机器学习负载的八成到九成,且随用户量持续增长,只看训练会系统性低估长期影响。12.2.1 再往前一步:电网碳强度随地点和时段波动,因此“什么时候、在哪里跑”本身成了可调的变量,这就是碳感知计算;SCI 规范把云工作负载的能耗乘以为其供电的电网碳强度,用后果性核算衡量一次决策带来的边际排放。
贯穿全章的是可比性问题:架构、芯片、机房效率、能源组合四项选择各自都能让结果差出数倍,Google 公布的 T5 与 GPT-3 数字因此在缺口径时不能当排名读。12.3 的结论并不给出单一解法,而是强调没有普适方案,需要选址、时段、硬件效率、模型效率与制度披露一起用。这一章的方法论意义超出环保:任何“把一个复杂系统的外部成本折算成一个数”的尝试,都必须交代边界与假设,否则数字只是姿态。
本章卡片:
- 碳强度:用电换算成排放|普通读书笔记卡
- PUE 与训练功耗的估算链|普通读书笔记卡
- 推理才是能耗的大头|普通读书笔记卡
- 碳感知计算:择地与择时|普通读书笔记卡
- 排放数字为何难以横比|普通读书笔记卡
跨章综合
把十二章放在一起看,有三条线索反复出现,值得单独记住。
线索一:稀疏性是贯穿全书的效率手段。 第3章用稀疏注意力与分块计算压缩长序列的平方开销,第6章用并行与重计算把显存压力摊开,第7章直接把前馈层换成按词元激活的专家子集,第8章则把一部分”记忆”移出参数、交给可更新的检索索引。四处的做法不同,动机同一个:让”模型拥有的知识量”与”单次前向的计算量”脱钩。代价也相似——路由、通信、索引维护都要额外的工程与稳定性投入。
线索二:目标函数决定了模型的性格,也决定了它需要什么补丁。 因果语言建模只奖励”下一个词元像不像真的”,于是模型倾向生成看起来合理的文本,而不是真实文本(第1章把幻觉的根源指到这种奖励错位)。掩码语言建模奖励”填对被遮住的位置”,因此擅长理解而不擅长生成(第4章)。偏好对齐(第9章)本质上是在原有目标上加一层人类偏好的约束,用奖励模型把”好”变成可优化的标量;而奖励一旦被代理,就会出现奖励黑客与长度偏置。理解这条链条,就能理解为什么对齐不是”加一个过滤层”,而是要改动优化目标。
线索三:评估的口径比数字更重要。 第2章指出困惑度以词元为分母,跨分词器不可比;第6章指出缩放法则的外推在接近零损失处必然走平,且上游困惑度不等于下游任务表现;第9、10章指出对齐与去偏的指标(偏好胜率、毒性打分)本身带有偏差与可被优化的空间;第12章指出能耗报告若不含碳强度与生命周期口径就无法互比。这些警告合起来是一句方法论:任何”更好”的结论,先问分母是什么、和谁比、在哪个区间外推。
发散与实践
以下四项是读者延伸,不是作者主张,也未在本轮执行;每项都在 ideas/ 下有成卡的计划、产出与验证口径。
- 用自己的机器算一次训练排放。 第12章给了把用电换算成 CO2eq 的链条(能耗、PUE、碳强度、GWP),可以直接套到一次真实微调上,产出一份含边界说明的核算表。(第12章)
- 实测中英文分词效率,并检验困惑度的不可比性。 用同一份平行语料跑两种分词器,比较词元数与压缩率,再验证同一模型换分词器后困惑度不能直接比较。(第2章)
- LoRA 与全参微调的对照。 在同一小数据集上分别做两种微调,比较可训练参数、显存峰值、训练时长与验证集表现,检验第5章关于低秩假设与适配位置的判断。(第5章)
- 用手头的模型需求做一次架构与解码选型备忘。 把第4、5章的判据(任务形态、上下文长度、是否需改写、标注预算)落成一张决策表,写明所选方案与被排除方案的理由。(第4、5章)