来源书籍

大语言模型-基础与前沿 (熊涛)

Skill 版本:v24 190 张卡片

熊涛 · 人民邮电出版社 · 2024年4月 · ISBN 9787115634887

全书导读

这是一本以机制为主线的中文大语言模型专著,覆盖从分词、注意力、预训练目标到稀疏专家、检索增强、偏好对齐、视觉语言模型与能耗核算的完整链条。它不是 API 手册,也不是论文综述:每一章都先说明要解决什么问题,再拆开结构与算法,最后交代代价与失效条件。

阅读时可以带三个问题进去。第一,这个机制替代了原来哪种做法,省掉的是什么代价。第二,它的收益来自哪一条假设,这条假设在什么条件下不成立。第三,它在作者的叙述里处于哪一段——是已经收敛的基础结构(如自注意力、因果语言建模),还是仍在竞争的路线(如长上下文、路由算法、对齐信号来源)。

全书的证据以机制解释和方案对照为主,模型名称与实验数字用作例证。因此书中关于性能的结论会随模型换代而过时,而关于为什么这样设计、代价落在哪里的判断更耐久。读的时候值得把两类陈述分开记录:一类可以迁移,一类需要用自己的环境重新测。

全书主线

全书的主线可以概括为一句话:把一个”预测下一个词元”的统计目标,逐步工程化成能对话、能看图、能按人偏好行事的系统,而每一步都要为新增能力支付一种具体代价。

第一步是把语言变成可计算的对象。语言模型把一段文本的概率分解成逐词元条件概率的连乘,n-gram 用马尔可夫假设把它截断到固定窗口,代价是参数随窗口指数增长与数据稀疏;神经语言模型用分布式表示共享统计强度,代价是算力。分词决定”词元”是什么,也就决定了序列长度、词表规模与跨语言效率。

第二步是把结构做成可并行、可堆叠的。Transformer 用自注意力让任意两个位置直接交互,摆脱循环网络的串行依赖,代价是打分矩阵随序列长度平方增长;位置嵌入、掩码和编码器-解码器分工,决定了模型是”续写”还是”改写”。

第三步是让规模成为方法。缩放法则说明损失随参数、数据、算力按幂律下降,于是问题从”怎么设计”变成”怎么训得起”:并行切分、混合精度、重计算、分片优化器状态,都是为同一件事服务——把一次前向反向摊到成千上万张卡上而不损失数值稳定。稀疏专家模型把”参数多”和”算得多”解耦,检索增强把”记住”从参数里搬到外部索引。

第四步是让模型与人配合。上下文学习与轻量微调解决”怎么用得便宜”,偏好对齐解决”输出该往哪个方向偏”,偏见与有害性的削减解决”哪些输出不该出现”,视觉语言模型把同一套语言接口扩展到图像。最后,环境影响一章提醒:前面所有效率手段最终都要落到电与碳上。

这三条线索彼此咬合:结构与目标决定能力的形状,规模与效率决定能力的上限,对齐与评测决定能力被允许释放多少。

前言

这本书的前言把写作动机交代得很直接:能力增长快于共识形成。模型已经在改变交流、学习与工作的方式,而关于它们能做什么、不该做什么的讨论仍未稳定,于是先讲清机制的紧迫性超过了先给结论的诱惑。前言同时给出了十二章的路线:第1章概述争辩与未来方向,第2到第5章建立语言建模、Transformer、预训练目标与适配方法的底座,第6到第9章转入规模、稀疏专家、检索与偏好对齐,第10到第12章处理偏见与有害性、视觉语言模型和环境代价。

读者对象被明确限定在自然语言处理、机器学习与人工智能方向的学生、研究人员和从业者,同时欢迎关心社会影响的政策、教育与媒体读者。这个双读者设定解释了全书写法:机制部分给推导与对照,社会影响部分给证据与边界,而不给行动口号。

卡片的取舍见下:一张记录写作动机如何塑造取材,一张把十二章画成三段路线。

本章卡片:

原书依据 · 2 处

第1章 大语言模型:辩论、争议与未来发展方向

本章不教怎么训练模型,而是把大语言模型放回机器能否理解语言这个老问题里,给出争论的坐标系和未来方向的驱动因素。

开篇确立事实基线:LLM 是数十亿参数的深度网络,在 TB 级语料上用自监督方式预测被遮蔽的词元。这个目标决定了一切后续讨论的性质——模型掌握的是语言分布的统计结构,能力与局限都从这一点长出来。它在解题、对话、解释上的表现,让会说话的机器第一次显得可信。

1.2 是全章重心。它先给出四层立场谱系(还原主义、无理解能力、认真对待涌现、朴素拟人主义),指出争论常因双方在不同层次取证而不交汇;一次对研究者的调查中 51% 对 49% 的分裂,说明缺的不是实验而是判据。接着逐个检验几种判据:碳基生物学不是逻辑必然,而是可检验的经验假设;中文房间说明符号操作不产生语义,也说明通过图灵测试不等于发生了理解;落地论把矛头从有没有身体指向有没有指称,而它的三处薄弱(必要性未证、意义被窄化为指称、表征本是多元)让它无法成为否证的终点;世界模型与沟通意图的讨论则显示,很多概念之争可以被改写成当前模型里是否存在的经验问题,探针实验已经在棋类模型里找到了内部棋盘表征。系统性论批判神经网络只能类比泛化,反证是自然语言本身只有准构成性与部分生产性,参照物并不比模型更系统。

1.3 转向建设性方向,最有用的框架是把语言能力拆成形式与功能两层:预训练直接诱导语法知识,而世界知识、情景建模、社会推理需要额外信号——指令微调、人类反馈强化学习、领域语料、多模态落地。功能能力的缺口有结构性来源,如报告偏差让文本系统性地遗漏共识信息。工程侧有四个驱动力:数据墙推动合成数据与自我改进;稀疏专家模型用激活稀疏换取规模与可解释性;幻觉推动检索增强与引用;通用性增强则指向智能体——从只能输出文本,到能在互联网上读取、写入并行动。全章末尾落在机制仍未明、伦理须前置这一判断上。

本章卡片:

原书依据 · 14 处

第2章 语言模型和分词

本章要解决两件事:把一段文本变成一个可以计算的概率,以及把一条字符串变成模型能吃的词元序列。前一半是语言模型,后一半是分词。共同前提:模型的最小单位是词元,切法决定词表大小、序列长度,也决定困惑度的分母。

起点是自然语言的不可形式化:编程语言无二义、规则可枚举,自然语言在交际中生长,语言学家也拿不出完备语法。既然规则判定不可行,就改用概率:语言模型是一个函数 P,给词表上的词元序列 W 打一个 0 到 1 的分,分数表示这段序列有多像真实语言。这个分数要同时反映语法与世界知识,因此比语法判分更宽也更难。

整句估概率不可行:长度 L 的序列有 |V| 的 L 次方种。概率链规则把联合概率拆成条件概率连乘:每一步在给定全部历史时预测下一个词。这只是恒等变形,难度被搬到了条件部分——历史任意长,语料里几乎不会重复出现。n 元语法用马尔可夫假设截断历史,只保留最近 n−1 个词。收益是参数从指数级降到 |V| 的 n−1 次方,每一项都能靠计数(最大似然估计)估出来;代价是长距离依存被丢弃,阶数一高就撞上数据稀疏。稀疏导致零概率:没见过的 n 元组为 0,整句连乘后归零。平滑(拉普拉斯、古德-图灵、Kneser-Ney)把概率质量从未观测组合挪一部分出来,借相似上下文回退,代价是抹平真实差异。

统计模型的瓶颈在表示:词是离散索引,dog 与 cat 在参数空间里正交,搭配知识无法迁移。神经语言模型先把词映射成稠密向量(词嵌入),让用法相近的词靠近,参数按维度共享而非按词切分,于是没精确见过的组合也能得到合理概率。上下文长度随之解放:LSTM 把历史压进隐状态,等效 n 为无穷,但串行难训;Transformer 在固定窗口内全连接,可并行、易训练,代价是窗口外不可见。GPT-3 取 2048,说明把窗口设成足够大是可行的工程策略。

评估分两层。外部评估看接入任务后的效果,最真实但昂贵;内部评估用测试集上的困惑度,即按词元数归一化的逆概率,可理解为模型每步平均在多少个等概率候选间犹豫。困惑度的坑:对训练集词频敏感,可能被分布重合压低;分母是词元数,跨分词器、跨语言都不可比;它只测概率拟合,与下游效果不必然一致。

分词围绕一个取舍展开:词元太多则序列变长、二次复杂度吃不消;词元太少则词表爆炸、形态之间无法共享参数。词级分词受困于 OOV 与五十万级词表,字符级分词消灭 OOV 却让序列膨胀数倍且表征变弱。子词分词取中间:BPE 自底向上按频率合并相邻符号,字节级 BPE 把基础词表换成 256 个字节以彻底消灭 UNK;SentencePiece 把空格当普通符号,内部跑 BPE 或 unigram;unigram 反向操作,从大词表按似然损失最小逐批删符号。最后是无分词器与可学习分词:ByT5 直接建模字节(小模型占优、大模型劣势),Charformer 用多粒度字符块加权,MANTa 学可微块边界。

本章承上启下:第 1 章把大模型当作整体,本章拆开第一层,说明预测下一个词元这一目标如何估、如何评;第 3 章接手 Transformer 内部,把这里只作为选项提到的上下文长度与并行性讲透。

本章卡片:

原书依据 · 14 处

第3章 Transformer

本章讲的是取代循环结构的序列建模方案:当序列很长时,RNN 必须把信息一步步传递,路径长、难以并行;Transformer 让每个位置直接与序列中所有位置计算相关性,路径长度为常数,且整段序列可以同时算,因而能在 GPU、TPU 上充分利用并行度。代价是注意力要对所有位置两两打分,计算量随序列长度呈二次增长,这一矛盾贯穿全章。

3.1 从最小构件讲起:一个编码器模块由多头自注意力、前馈网络、残差连接与层归一化组成,输入输出同长同维。层归一化的位置(Post-LN 还是 Pre-LN)决定了训练是否稳定、是否需要学习率预热;复杂度分析则指出自注意力是长序列的主要开销。3.2 把这个模块放进编码器-解码器框架:编码器全可见地读输入,解码器用掩码自注意力保证只能看已生成的前缀,再用交叉注意力从编码器输出中取信息。3.3 解决注意力本身不区分顺序的问题:绝对位置编码把位置向量加到输入上,相对位置编码则直接改写注意力得分,从正弦编码、可学习编码一路发展到截断相对位置、ALiBi 的固定距离惩罚和 RoPE 的旋转表示。

3.4 处理更长的上下文,思路有三条:复用或压缩过去的状态(Transformer-XL、压缩 Transformer)、让模型学会把注意力跨度或记忆寿命变短(自适应跨度、Expire-Span)、以及只对重要词元做重计算(CoLT5)。3.5 把记忆搬到模型外部:kNN-LM 用键值库做最近邻检索并插值,SPALM 用门控融合短期缓存与长期检索,记忆 Transformer 在解码器顶部加 kNN 增强注意力,RMT 则用可读写的记忆词元把段与段串起来。

3.6 与 3.7 转向效率:稀疏注意力把每个查询的候选从全序列压缩到固定模式、可学习模式或低秩表示;条件计算按样本难度分配算力,混合专家、ACT、通用 Transformer 属于这一类;多查询注意力让所有头共享键值,直接缩小推理时的缓存。推理侧的手段包括 KV 缓存复用、用小模型起草再由大模型校验的推测解码、跨层线性近似跳层、结构化与非结构化修剪、知识蒸馏、混合精度与量化,以及在多设备上切分权重和缓存。全章的主线可以概括为:注意力换来了并行与长程建模,但二次复杂度与缓存显存必须靠结构改造、稀疏化、记忆外置和推理工程共同抵消。

本章卡片:

原书依据 · 20 处

第4章 预训练目标和解码策略

自然语言处理的范式从特征工程、架构工程走到预训练加微调,再走到预训练、提示与预测,核心变化是用无标注文本自监督地学通用表征,而不是为每个任务标数据。本章讨论这条流水线的两端:训练时用什么架构与目标函数,推理时用什么策略把概率分布变成词元序列。

架构上,Transformer 的变体由注意力掩蔽模式区分:全双向的是仅编码器(BERT 系),全因果的是仅解码器(GPT 系),前缀段双向、后缀段因果的是前缀语言模型,编码器双向加解码器因果并用交叉注意力连接的是编码器-解码器(T5、BART)。掩蔽模式决定一个位置能看见哪些位置,也就决定模型能承担什么任务:双向适合理解与填空,因果适合生成,编码器-解码器适合“输入一段、输出另一段”的转换。仅编码器因只能输出与输入等长的词元而退出主流;同等算力下编码器-解码器的参数约为仅解码器的两倍,两者归纳偏置却很接近,这是普遍选仅解码器的现实理由。

预训练目标就是把掩蔽模式翻译成损失函数:因果语言建模只对下一个词元算负对数似然;掩蔽语言建模只对被挖位置算损失,并用 80/10/10 的替换比例缓和 [MASK] 在预训练与微调间的分布不一致;前缀语言建模只对前缀之后的词元算损失;T5 的跨度损坏把连续短跨度换成哨兵词元,目标序列变成“哨兵加被删内容”。中间填充把文档中段搬到末尾再自回归训练,使模型能在光标处插入,且只要偶尔保留原序就不伤续写能力,即 FIM-for-free。UL2 用范式词元在一个模型里调度多种去噪任务,MiM 用共享参数的前向与后向解码流加一致性正则从两个方向获取监督。

4.3 把机制落到模型族:BERT 及其改进(RoBERTa 删去下一句预测、ELECTRA 改为替换词元检测、XL-Net 排列式自回归、ALBERT 与 DistilBERT 压缩)、GPT-2 与 GPT-3 的规模路线、PaLM 的并行层与 SwiGLU 等改造、OPT 与 BLOOM 的开源复现、LLaMA 以公开数据和更小参数逼近更大模型,以及 Alpaca、Vicuna、Dolly2 这类指令微调衍生品。共同结论是:架构与目标决定能力边界,参数与数据配比决定同等算力下的效率,训练稳定性与成本在大尺度上成为主要矛盾。

4.4 转向解码:模型只输出下一个词元的概率分布,选哪个词元与架构同等重要。贪心与束搜索追求高概率串,但最大似然串常常乏味重复;温度调节分布锐度,top-k 固定候选数,top-p 按累计概率自适应截断长尾,两者常串联;局部典型采样以“信息量接近该上下文的期望值”为标准换取自然度;RANKGEN 把解码拆成生成候选加长程兼容性重排,针对教师强制带来的暴露偏差;掩蔽预测走非自回归路线,并行预测后反复重掩蔽最不自信的位置。总体线索是:训练目标塑造分布,解码策略决定从中取出什么,二者的错配正是高概率却不像人话的根源。

本章卡片:

原书依据 · 16 处

第5章 上下文学习和轻量级微调

第5章处理的是一个现实约束:模型参数涨得比显存快,全参微调对多数人不可行,于是出现两条替代路线——不改参数的上下文学习(ICL)和只改少量参数的轻量级微调(LFT)。

5.1 把 ICL 拆成一条流水线:先决定提示怎么写(指令、示范、格式),再决定示范从哪来(k 近邻检索、图上的多样性覆盖、用语言模型标注训练检索器、影响力打分、策略梯度选样)、按什么顺序摆(熵、遗传搜索、编码长度),以及指令能否由模型自己归纳。随后是推理增强:思维链把中间步骤写进示范,零样本 CoT、自洽性、自问、工具调用是它的轻量变体;反向链接与问题分解把复杂任务拆成可逐步关闭的子目标;便笺簿与 STaR 则把这种分解能力从提示迁移到权重。关于 ICL 为何有效,本章给出三种互补解释:提示锐化潜在概念的后验、Transformer 在上下文中拟合函数、注意力等价于一步梯度下降因而 ICL 是隐式微调。5.1 末尾的评估说明 ICL 仍落后全参微调,且对示范与指令高度敏感。

5.2 正面处理这种敏感性:同一提示换顺序可从 54.3% 跳到 93.4%,背后是多数标签、重复、常见词元三类偏差造成的分布平移;用无内容输入估计偏移、再用对角仿射变换校正,无需训练数据。表面形式竞争则说明直接概率不适合比较同义说法,需要用 PMI、领域条件 PMI 或通道模型重新打分。

5.3 转向 LFT:只训练一小部分参数,按“动哪里”分为添加(适配器、软提示、前缀、IA3)、规范(BitFit、FishMask、FAR)、重参数化(LoRA、KronA),以及混合(MAM、Compacter、S4)。贯穿其中的权衡是可训练参数、显存、推理开销与最终质量四者的取舍:能合并进原权重的方案推理零开销,串行插层的方案灵活但有延迟。

本章承接前文的预训练模型与提示使用,为后续的指令微调与人类对齐埋下伏笔:ICL 解决“不训练怎么用”,LFT 解决“少训练怎么调”,二者共同构成大模型落地的主要工程手段。

本章卡片:

原书依据 · 22 处

第6章 训练更大的模型

本章回答一个工程问题:单卡装不下、也等不起的大模型,怎样才能训出来。6.1 节先给出预测工具——缩放法则。损失与参数量 N、词元数 D、算力 C 呈幂律关系,配上 C ≈ 6ND 的算力恒等式,就能在动手之前估算“多大的模型配多少数据能到什么损失”。这里发生过一次著名修正:Kaplan 等(2020)认为扩张预算应优先给参数(参数增 8 倍只需数据增 5 倍),GPT-3 的 175B 参数配 300B 词元就是这一路线的产物;Chinchilla 指出该结论被“所有规模共用一条退火计划”污染,按等比例扩(模型翻倍、词元也翻倍,约 20 词元/参数)训练的 70B 模型反而打败了 175B 的 GPT-3。缩放法则还被推广到别处:推理阶段的比特级法则(同样内存下宁选大模型低比特),以及上游困惑度与下游能力并不完全一致的经验。6.2 节讨论涌现:某些能力在规模跨过阈值后突然出现,像相变;另一种分析认为这多半是“整题全对”这类非线性指标把平滑进步折叠成阶跃,再加上小模型测试样本不足造成的错觉。6.3 节转向硬件:Dennard 缩放终结、功耗墙出现之后,算力只能靠并行与专用化,而 AI 的计算恰好是少量算子的大规模张量运算,因此特别适合加速器;GPU 与 TPU 的差别主要在显存层次与互连拓扑,而显存增长(两年约 2 倍)远慢于模型增长(两年约 35 倍),并行因此不是优化而是唯一出路。6.4 节是全章主干:数据并行切批次、靠梯度全归约保持一致,环全归约把通信量做成与卡数几乎无关;流水线并行切层、用微批次填气泡;张量并行切层内矩阵、每层都要集合通信;序列并行切序列长度、用环自注意力补上注意力所需的全局视野。四者切的是不同维度、代价也不同,可以叠加成多维并行;此外还有按专家切分的混合专家。显存不够时另有一套手段:ZeRO 把优化器状态、梯度、参数逐级分片,重计算用算力换显存,卸载用带宽换显存,ZeRO-Infinity 甚至把状态放到 NVMe。6.5、6.6 节收在数值与内存细节:半精度需要主权重、损失缩放与 fp32 累加三道保险,bf16 用指数位换尾数位;FP8 与 INT8 的选择取决于被量化值的分布;8 位优化器用分块动态量化压缩 Adam 状态。全章的逻辑线索是:先用缩放法则决定“训多大”,再用并行与内存技术解决“怎么装下”,最后用低精度与压缩解决“怎么算得快、放得下”。

本章卡片:

原书依据 · 22 处

第7章 稀疏专家模型

第7章讨论如何在不让计算量按比例上涨的前提下把语言模型做大。稠密模型的参数、算力、显存同步增长,而放大尺度法则又表明性能随规模呈幂律提升,于是“多参数、少激活”成为一条现实的扩容路线。稀疏专家模型(MoE)把 Transformer 的前馈层换成一组结构相同、各自训练的专家,再用门控函数为每个词元挑选少数专家:参数量随专家数增长,单次前向的浮点运算只随被激活的专家数增长,容量与计算被解耦。

7.1 先回答“为什么值得”。专家可以针对数据分布的局部区域专门化,门控在推理时只计算一小部分;证据包括 ST-MoE 用约二十分之一的算力超过更大的稠密模型、每词元 FLOP 上的准确率更优、校准更好、路由决策可检查。代价是训练不稳定(损失发散比稠密模型更严重)、同等困惑度下稠密模型往往更好,Router-Z 损失与小批量大学习率等技巧用于缓解。

7.2 是本章主体:路由。朴素路由不可微,Shazeer 的 top-k 门控用 softmax 概率给专家输出加权,让梯度能穿过离散选择;噪声 top-k 与重要性损失(按批次统计的变异系数平方)用来防止门控偏向少数专家形成自我强化。GShard 给每个专家设容量阈值、按局部组调度、以随机 top-2 补充;Switch Transformer 证明 top-1 也有竞争力,并用专家层更高的 dropout、更小的初始化、路由部分单独用 FP32 来稳定训练;容量上限带来的副作用是词元溢出被丢弃。除“词元选专家”外,还有反向的专家选择(每个专家挑 top-k 词元,规模预先确定、负载天然均衡,但需要预先看到全部词元,不适合自回归生成)、把路由写成线性分配的 BASE 与用 Sinkhorn 求解最优传输的 S-BASE(由算法保证均衡、无需辅助损失),以及完全静态的哈希层。表征崩溃是 top-1 路由的隐患:强制隐表征围聚在专家中心,会损害准确率。

7.3 转向工程与架构:TPU/XLA 要求静态形状,框架只能裁剪或填充每个专家的词元,块稀疏内核把 MoE 当成稀疏矩阵乘来消除这一超参;专家之间的参数冗余催生 MPOE,用矩阵乘积算符分解让专家共享中心张量、保留各自辅助张量;推理侧要面对全互换通信、显存占用与远高于稠密模型的延迟,靠专家融合成组矩阵乘、只量化静态权重、把填充词元交给虚拟专家来降本;同一套条件计算也被用于视觉语言模型,以及与集成模型的结合(pBE)。

7.4 收束:MoE 的价值在于把参数规模与计算成本解耦,但路由的可微性、负载均衡、稳定性与通信开销共同决定了它能否真正落地。这一章承接前文的尺度法则与 Transformer 结构,也为后续讨论训练系统与部署效率埋下伏笔。

本章卡片:

原书依据 · 15 处

第8章 检索增强型语言模型

大模型把世界知识压进参数,代价是更新慢、说不清依据、每次推理都要搬动全部权重。本章的主线就是把这部分记忆搬到模型外面:用一个检索器在推理或训练时取回相关文本,再让语言模型基于证据生成。

8.1 先交代知识源的取舍。知识图谱精确但构建和更新昂贵;非结构化文本便宜、可扩展,却需要向量检索来定位证据。REALM 由此给出第一个完整范式:把文档当作潜变量,P(y|x) 分解为检索分布与生成分布的加权和,检索器与编码器用掩蔽词损失联合训练,并用最大内积搜索加速、周期性刷新索引。

8.2 把检索粒度从段落降到词元。kNN-MT 不改参数,把解码器状态与下一个词存成键值库,推理时取最近邻形成分布,再与模型输出按 λ 插值;代价是每词元检索一次,速度慢两个数量级。

8.3 转向检索质量本身。ColBERT 用后期交互在可预计算与细粒度匹配之间取平衡;ColBERT-QA 用 RGS 从答案字符串反推弱正样本,自举出问答专用检索器;Baleen 把检索改成带摘要状态的迭代循环,服务多跳推理。

8.4 的 RETRO 把检索嵌进架构:序列分块、冻结 BERT 建键值库、分块交叉注意力注入邻居,使 7B 模型在 Pile 上接近 GPT-3,而参数只有其 4%。8.5 的 REPLUG 则反过来,假设模型是黑盒,只调检索器并在输入输出两侧做集成,把检索增强带到 API 模型,但上限被检索质量锁死。

8.6 把同一思路推到视觉:VALM 为词元检索图像,用视觉融合层补上常识 grounding。全章因此呈现一条清晰的谱系:检索对象从段落、词元、块到图像,介入位置从提示、输出层到注意力,而对模型的可改造程度则从全白盒一路退到黑盒。真正的难点始终是同一件事——检索器与生成器的目标是否对齐。

本章卡片:

原书依据 · 14 处

第9章 对齐语言模型与人类偏好

本章处理的问题是:一个按“预测下一个词元”训练出来的模型,能力再强,也不等于它愿意做人类希望它做的事。预训练目标只要求复现训练数据的分布,而训练语料里混着虚假信息、攻击性表达与错误代码,模型越忠实于目标,越可能产出人不想要的内容。这不是加数据能解决的,只能换目标,或另用一套信号把模型从似然目标上拉回来。全章就是围绕“用什么信号、在哪个阶段、以什么算法注入人类偏好”展开的一条谱系。

最直接的做法是把人的判断变成奖励。RLHF 分三步:先用演示数据做监督微调,得到初步听话的策略;再让人对同一提示的多个回答做成对比较,训练一个输出标量分数的奖励模型;最后用 PPO 以奖励模型的分数为目标优化策略,同时用 KL 惩罚把新策略拴在 SFT 模型附近。KL 在这里不是装饰:奖励模型只是人类偏好的代理,无约束地最大化它,策略会跑到奖励模型没见过的区域去刷分,表现为回答越写越长、堆砌讨好措辞、抓代理指标的漏洞,也就是奖励黑客。第 9.1 节进一步把 KL 讲透:前向 KL 是零避免、倾向覆盖目标分布的所有模式,反向 KL 是零强迫、只拟合目标的一部分;RLHF 的惩罚项属于反向 KL。沿贝叶斯视角看,带 KL 惩罚的强化学习等价于变分推断,最优策略正比于“先验语言模型乘以奖励的指数”,β 就是温度,调 β 等于在奖励与保持原分布之间换汇率。若把“某条回答得分高”换成“整批输出的统计特征要符合要求”,就得到 GDC 这类分布匹配方法:用基于能量的模型写出带矩约束的目标分布,再用分布策略梯度最小化前向 KL,可以处理性别比例平衡、禁用词等分布级偏好,f-DPG 则把两者统一为“选一种 f 散度去近似目标分布”,并指出没有普适最优的散度。

奖励信号不必是分数。9.2 的 ILF 让人用自然语言说“熊不是绿色的”,再由优化模型把这句话翻译成若干改写候选、由奖励模型排序,把最好的一条当作监督目标;9.3 的 HIR 则干脆绕开奖励模型,把指令当目标、把模型当目标条件策略,失败样本通过“后视重标注”变成可学习的目标,从而只用监督学习完成对齐。9.4 把标注者也换掉:RLAIF 用 AI 依据一组原则给回答打分,宪法式 AI 先让模型按原则批评并修订自己的回答(监督阶段),再用反馈模型的偏好训练奖励模型做强化学习(RL 阶段),人类只负责写原则和少量示例,这条思路的更大意义是可扩展监督——用 AI 监督 AI。9.5 把反馈收回模型自身:Self-Refine 让同一个模型交替生成、批评、修订,收益主要来自第一次迭代,反馈必须具体。9.6 则把对齐从微调前移到预训练:与其先学坏再矫正,不如在预训练时就用奖励函数给文档加权或打标签,条件训练效果最好,说明“从头学对”比“学会再删”更省力。

这些方法不是互斥替代品,而是同一条权衡曲线上的取点:反馈越贵越细,对齐越准;算法越复杂,越容易在分布外失效。本章上承预训练与指令微调,下接对齐评估与安全治理,核心结论是:对齐是一个目标设计问题,不是一个能力问题。

本章卡片:

原书依据 · 17 处

第10章 减少偏见和有害性

本章处理大语言模型进入产品后无法回避的问题:面对完全不受控的用户输入,模型会输出带偏见的判断或有害内容,而用户看不到训练数据与判断依据。开篇用两个场景摆问题——问“如何治疗癌症”可能得到危险建议,模型也可能表达攻击性观点。早期有两种应对:外挂分类器在输入输出两端拦截(OpenAI 的 API 判定为不当就声明无法生成),或用一小批问答对微调,把某种价值偏好写进权重。两者都不干净:过滤器难以处理微妙语境、缺数据、难可靠部署;价值微调会让模型遗忘预训练知识,“谁的价值”没有答案,覆盖范围难验证,创意写作这类需要多重视角的场景会被误伤。

正文把伦理问题拆成偏见与有害性两块。偏见先讲来源:语料规模大到无法审核,清洗又会压制边缘化社群的表达;采样偏差、报道偏差、平台排序不透明,都会让抓到的数据偏离现实。偏见的可观测形态落在具体任务上:指代消解把“她”错连到秘书,机器翻译给性别未知的 nurse 强行指派性别。跨语言场景还有代表性错配——维基百科各语言条目数与使用人数不成比例,语言识别在方言与欠发达地区明显退化。度量手段是用模板前缀诱导补全(bias probes),统计职业分布再与人口普查对照,结论是模型比现实更刻板;这类度量各有参照系,也各有以美国为中心、交叉维度不足的局限。

有害性部分给出可操作定义(粗鲁、不尊重、让人想离开对话),指出它依赖情境,并梳理识别手段的递进:坏词表不够用;Perspective API 给出 0 到 1 的属性分,但分数是可能性而非严重程度,且忽略标注者身份,对含身份词的文本系统性偏高;RealToxicityPrompts 把评测转向生成侧,用诱导提示测续写风险。

减少手段按“改动发生在哪一层”排列:解码层(PPLM 用属性模型梯度推隐藏状态,GeDi 直接改词分布并用贝叶斯折算,速度更快)、提示层(自我诊断读“是/否”概率,自纠偏按概率差压低不良词)、数据层(DAPT 在筛过的语料上继续预训练,SGEAT 用自生成数据提效,代价是遗忘与算力,模型越大越难脱毒)、表征层(投影到偏见子空间后减掉、投影到分类器零空间、加大 dropout)、文本层(风格转换改写句子,用循环一致性保内容)。第 9 章的 RLHF 与偏好预训练被指认为最后一条路线。落点是:没有一种方法能消除偏见与有害性,只有代价不同的权衡。

本章卡片:

原书依据 · 13 处

第11章 视觉语言模型

视觉语言模型要解决的问题是:语言模型只会读字,而人类的理解大量依赖看。把图像接入一个已经训练好的语言模型,难点不在“有没有视觉特征”,而在两种表征对不上——图像侧输出的是 patch 或区域向量,语言侧吃的是与词表同维的嵌入,维度、粒度、序列长度都不同。全章按“改动多少参数”把解法排成一条光谱,越往右能力越强、代价越高。

最左端是完全不训练。MAGIC 在解码时用图像-文本匹配分数重排候选词;视觉线索、苏格拉底模式、PICa 把图像先翻译成语言,让语言模型在模块之间充当中间表征;ASIF 干脆用相似度检索代替学习。它们的共同优点是便宜、可解释、可插拔,共同弱点是精度上限受前端描述质量限制。

中间是轻量适配。LiT 锁住图像编码器只训文本侧,说明一个对齐良好的图像空间不必再被改动;Frozen 与 ClipCap 把图像压成软前缀,前者从头训编码器,后者只训映射网络;MiniGPT-4 证明一个投影层就够用,真正的瓶颈是数据质量;Flamingo 用感知器重采样器加门控交叉注意力,把视觉信息插进语言层,并以交错输入获得上下文少样本能力;BLIP-2 则把对齐外包给 Q-Former,两阶段完成“学相关特征”和“接上大模型”。

右端是图文联合训练:把图像切成区域、patch 或离散码,与文本拼成一条序列,用 MLM 与 ITM 共同训练。它从根上取消了模态边界,适合 VQA、检索、定位等多任务,但需要大量图文对与算力,还要面对多任务互相拖累。

在两端的缝隙里还有两条横向思路。检索增强把知识放到外部库,用 EXTRA、Re-ViLM、SMALL-CAP 说明检索粒度可以从“相似描述”到“任意文本”,并要专门防止复制粘贴式走捷径;视觉指令调整则用 GPT-4 依据描述与检测框合成对话数据,把对齐好的模型变成能听懂指令的助手,而数据中的感知盲区也埋下了幻觉的种子。

从全书看,这一章是第 5 章前缀调优、第 8 章检索增强向视觉侧的延伸:同一个“冻结大模型、只训小接口”的思路被反复复用。它也为第 12 章讨论算力与环境成本埋下伏笔——联合训练与轻量适配之间的取舍,本质上也是算力预算的取舍。

本章卡片:

原书依据 · 16 处

第12章 环境影响

前十一章关心的是模型能做什么、怎么训出来、怎么对齐,这一章把视线移到模型之外的账:为了得到这些能力,究竟向大气多排了多少温室气体。出发点是数据中心耗电,而同样的电对环境的意义并不相同,于是全章围绕一条乘法链展开——能耗乘上供电的碳强度,才是排放。

12.1 先建立换算尺。碳强度衡量每千瓦时电对应的碳排放,取决于当地电源结构:烧煤直接排放,水电、核电运行期几乎不排,但把电厂建设、采矿、废物处理算进生命周期,风光的排放也不是零。同一份计算放在以水电为主的魁北克与以煤为主的爱沙尼亚,结果能差到 96.7%,这直接说明“用了多少电”不足以比较环境影响,也说明了为什么减排有两条独立的路:少用电,或者用更干净的电。

12.2 把这条乘法链落成可算的公式。Strubell 的做法是自下而上:把 CPU、内存、GPU 的功率按数量加总,乘 PUE 补上冷却与配电的开销,乘训练时长得到千瓦时,再乘电网排放因子得到排放。这里每一个因子都是可核对、也是可出错的假设:功率取平均值、PUE 取全球均值 1.58、排放因子取美国均值,换一套假设,结论就变。Patterson 等人的简化式则把推理项显式写进来,理由是推理占机器学习负载的八成到九成,且随用户量持续增长,只看训练会系统性低估长期影响。12.2.1 再往前一步:电网碳强度随地点和时段波动,因此“什么时候、在哪里跑”本身成了可调的变量,这就是碳感知计算;SCI 规范把云工作负载的能耗乘以为其供电的电网碳强度,用后果性核算衡量一次决策带来的边际排放。

贯穿全章的是可比性问题:架构、芯片、机房效率、能源组合四项选择各自都能让结果差出数倍,Google 公布的 T5 与 GPT-3 数字因此在缺口径时不能当排名读。12.3 的结论并不给出单一解法,而是强调没有普适方案,需要选址、时段、硬件效率、模型效率与制度披露一起用。这一章的方法论意义超出环保:任何“把一个复杂系统的外部成本折算成一个数”的尝试,都必须交代边界与假设,否则数字只是姿态。

本章卡片:

原书依据 · 5 处

跨章综合

把十二章放在一起看,有三条线索反复出现,值得单独记住。

线索一:稀疏性是贯穿全书的效率手段。 第3章用稀疏注意力与分块计算压缩长序列的平方开销,第6章用并行与重计算把显存压力摊开,第7章直接把前馈层换成按词元激活的专家子集,第8章则把一部分”记忆”移出参数、交给可更新的检索索引。四处的做法不同,动机同一个:让”模型拥有的知识量”与”单次前向的计算量”脱钩。代价也相似——路由、通信、索引维护都要额外的工程与稳定性投入。

线索二:目标函数决定了模型的性格,也决定了它需要什么补丁。 因果语言建模只奖励”下一个词元像不像真的”,于是模型倾向生成看起来合理的文本,而不是真实文本(第1章把幻觉的根源指到这种奖励错位)。掩码语言建模奖励”填对被遮住的位置”,因此擅长理解而不擅长生成(第4章)。偏好对齐(第9章)本质上是在原有目标上加一层人类偏好的约束,用奖励模型把”好”变成可优化的标量;而奖励一旦被代理,就会出现奖励黑客与长度偏置。理解这条链条,就能理解为什么对齐不是”加一个过滤层”,而是要改动优化目标。

线索三:评估的口径比数字更重要。 第2章指出困惑度以词元为分母,跨分词器不可比;第6章指出缩放法则的外推在接近零损失处必然走平,且上游困惑度不等于下游任务表现;第9、10章指出对齐与去偏的指标(偏好胜率、毒性打分)本身带有偏差与可被优化的空间;第12章指出能耗报告若不含碳强度与生命周期口径就无法互比。这些警告合起来是一句方法论:任何”更好”的结论,先问分母是什么、和谁比、在哪个区间外推。

发散与实践

以下四项是读者延伸,不是作者主张,也未在本轮执行;每项都在 ideas/ 下有成卡的计划、产出与验证口径。

  1. 用自己的机器算一次训练排放。 第12章给了把用电换算成 CO2eq 的链条(能耗、PUE、碳强度、GWP),可以直接套到一次真实微调上,产出一份含边界说明的核算表。(第12章)
  2. 实测中英文分词效率,并检验困惑度的不可比性。 用同一份平行语料跑两种分词器,比较词元数与压缩率,再验证同一模型换分词器后困惑度不能直接比较。(第2章)
  3. LoRA 与全参微调的对照。 在同一小数据集上分别做两种微调,比较可训练参数、显存峰值、训练时长与验证集表现,检验第5章关于低秩假设与适配位置的判断。(第5章)
  4. 用手头的模型需求做一次架构与解码选型备忘。 把第4、5章的判据(任务形态、上下文长度、是否需改写、标注预算)落成一张决策表,写明所选方案与被排除方案的理由。(第4、5章)
生成进度与管理记录

大语言模型:基础与前沿

执行模式:light

建档进度:done

Skill 版本:v24

整体评级

信息浓度:高。全书以机制解释为主,几乎每个结构都交代了”为什么这样设计”与”代价落在哪里”。例如自注意力除以 √d_k 不是为了好看:维度越高点积方差越大,softmax 会被推入接近 one-hot 的饱和区、梯度趋近于零,缩放是把打分拉回合适温度的手段;再如稀疏专家模型,作者先把”参数、算力、显存同步增长”与幂律收益的矛盾摆出来,再解释门控为何必须用 softmax 加权才能让梯度穿过离散选择。第2章的 n-gram 参数爆炸与平滑、第6章的并行切分与通信代价、第9章的奖励黑客与长度偏置,都属于同一类高浓度论述——给因果与权衡,而不是罗列结论。

稳定性:高(局部需核对)。可迁移的部分包括分词与语言建模的取舍结构、自注意力的计算与复杂度、预训练目标与解码策略的失效方式、并行的切分维度与通信代价、MoE 的路由与负载均衡、检索增强的动机、偏好对齐的目标改造逻辑。不稳定的部分是模型名、参数量、实验数字与当年框架现状(GPT-3/PaLM/Chinchilla/ST-MoE 的具体配置、GPU 型号与显存规格),这些会随换代失效,需要在自己的环境重测。

四象限定位:高浓度 × 高稳定 → 经典原理(第一级别)。第6章的训练系统、第12章的能耗核算最接近工程实践(数字与硬件强相关),其余各章的机制判断更耐久,整体按高位定级。

内容形态:主体为概念解析型(默认),按”提出问题—拆结构—给代价”的论文式叙述组织,不按问题清单或命令族罗列;局部为操作参考型(第4章解码策略、第5章各类参数高效微调的参数位置对照),这些局部按操作参考卡与对照表处理。

整书笔记

阅读正文、章节讲解、全书主线、跨章综合与全部卡片/原文定位见 _book_note.md。覆盖与候选取舍见 _coverage.md。

章节进度追踪

章节号 章节标题 状态(pending/done) 卡片数
00 前言 done 2
01 第1章 大语言模型:辩论、争议与未来发展方向 done 14
02 第2章 语言模型和分词 done 14
03 第3章 Transformer done 20
04 第4章 预训练目标和解码策略 done 16
05 第5章 上下文学习和轻量级微调 done 22
06 第6章 训练更大的模型 done 22
07 第7章 稀疏专家模型 done 15
08 第8章 检索增强型语言模型 done 14
09 第9章 对齐语言模型与人类偏好 done 17
10 第10章 减少偏见和有害性 done 13
11 第11章 视觉语言模型 done 16
12 第12章 环境影响 done 5

合计 190 张知识卡(普通读书笔记卡 173 / 结构图卡 13 / 问题卡 2 / 操作参考卡 2 / 延伸参考卡 0;理解等级 初级 8 / 中级 102 / 高级 78)。另 4 张实践卡在 ideas/,不计入章节卡数。

非正文排除

spine项 类型 排除理由
spine[1] titlepage.xhtml 封面占位 仅 “Cover” 五字符,无正文
spine[2] cover.xhtml 封面图 仅书名图示文字(21 字符),无知识内容
spine[3] Copyright.xhtml 版权页 出版信息(书名、作者、出版社、时间、ISBN、字数),无正文;出版元数据取自本页
spine[4] chapter0.xhtml 内容提要 276 字符的封底简介,概述全书主题与读者对象,无独立知识内容
spine[5] chapter1.xhtml 资源与支持 彩图/思维导图/参考文献电子版的获取方式与勘误反馈渠道,属地服务信息
spine[19]–[22] chapter15_split_000–003.xhtml 参考文献 四段合计约 9.3 万字符的文献条目清单,无讲解性正文
spine[23] daima.xhtml 字体版权页 Adobe Source 字体授权声明(OFL 全文),与本书内容无关

前言(spine[6],1,292 字符)纳入正文并读完:交代写作动机、十二章路线与读者对象,成卡 2 张。

待关联术语

术语名 出现章节 一句话语境
ImageNet 第3章、第11章 作为大规模标注数据集与视觉预训练的参照被点名,未展开其规模构成与标注方式
AlphaFold 第6章 作为”大规模算力训练取得突破”的举例出现,未解释其结构与训练方法

引用文献

标题 类型(书/论文/框架/源码项目) 出现章节 一句话语境
Megatron-LM 源码项目 第4章、第6章 作为张量并行与大规模训练工程的代表被提及,未展开其切分实现(书中以切分原理与通信代价讲解为主)

资金安全问题案例

问题标题 问题卡 解决方案卡(如有) 出现章节 一句话说明
— — — — 全书不涉及转账、扣款、限额、清结算等资金并发场景,无此类案例

实践卡进度

序号 实践标题 实践方式 状态(pending/done) 关联章节 产出
1 核算一次微调训练的碳排量 真实任务 done 第12章 → 笔记 idea-001(计划交付,未执行)
2 实测中英文分词效率与困惑度不可比 真实任务 done 第2章 → 笔记 idea-002(计划交付,未执行)
3 LoRA 与全参微调的对照实验 真实任务 done 第5章 → 笔记 idea-003(计划交付,未执行)
4 为手头任务做架构与解码选型备忘 决策实践 done 第4章、第5章 → 笔记 idea-004(计划交付,未执行)

实践候选筛选:done

未采用候选及原因:①「读一套 MoE 开源实现的路由代码并做负载均衡观察」——属实现深读,需先核验目标项目确实采用书中所述门控与容量机制、并锁定版本/提交,本轮未做联网核验,按模板要求不写成可执行计划;②「用 KV 缓存与 GQA 实测显存/延迟曲线」——需多卡或大显存环境,单机无法得到有判别力的数据,且与第 3 张实践卡的显存对照部分重叠;③「复现 RLHF 三步流水线」——需要奖励模型训练与 PPO 调参,成本远超单轮实践,且难以在小规模上检验书中关于 KL 约束的结论;④「按第 10 章做去偏前后对照」——评测集与人工标注不可得,若自造样本则无法验证偏见度量本身的有效性。其余候选(如长上下文方案横评、检索索引刷新实验)缺少可量化的验收口径,未单独成卡。

遗留与局限

  1. 本地 EPUB 无 dc:edition,edition 记 null;isbn 取自版权页文本(9787115634887),未与外部书目核对。
  2. 书中插图(Transformer 结构、并行切分、路由与容量、检索-生成数据流等)以图片形式存在,结构图卡的节点与边只据周边文字与正文描述重建,可能少于原图。
  3. 第6章的硬件参数(显存容量、互连带宽、加速器型号)与第12章的排放因子属时效性数据,卡片只保留其口径与量级,具体数值需按当前硬件重新核算。
  4. 参考文献四段(约 9.3 万字符)按非正文排除,未逐条登记为引用文献;其中被正文实质讨论的论文(Chinchilla、RETRO、Switch、BLAM 等)已在对应章节成卡。

相关主题

从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。

暂无公开主题。