来源书籍

Designing Large Language Model Applications

Skill 版本:v24 经典原理(高信息浓度、高稳定性),按当前规则P4。 446 张卡片

Suhas Pai · O’Reilly Media, Inc. · 2025-03-12 · First Edition · ISBN 9781098159047

全书导读

本书要解决的不是怎样让模型说出一句像样的话,而是怎样把模型放进能可靠完成任务的软件系统。作者先解释模型由数据、词表、架构和训练目标形成,再讨论选择与适配,最后进入工具、表示、检索与系统设计。即使不从零训练,理解这些原料仍有助于判断一次失败来自哪里。

本次依据本地2025年第一版EPUB,25项spine全部读取,包含前言、13章及索引;代码、公式与实质图像均纳入取材。书的主范围为英语文本模型,多语种、多模态和成熟推理模型并未系统展开。工具接口、型号、价格及排行榜属于版本背景,不能把当时实例当当前选型结论。

阅读时可先建立三个问题:模型在训练中见过什么,任务需要改变或补充什么,系统如何验证真实完成?正文依次讲清相关概念,卡片提供更细的机制、比较与边界。所有练习保持计划与执行区别,本次没有安装模型、运行训练、调用付费接口或搭建业务服务。

全书主线

第一部分建立“原料决定行为”的视角。数据清理、去重、混合和隐私处理决定可学信息及偏差;tokenizer将文本编码成可训练单位,词表和边界影响长度、覆盖与成本;架构的注意力、位置和学习目标决定信息怎样流动。模型输出的是条件分布,既不天然拥有事实库,也不因生成流畅就具备正确推导。

第二部分回答如何把已有模型用于具体任务。选择需要在目标评估、能力、资源和开放条件之间比较,解码控制候选选择,监督微调学习任务映射,继续预训练调整暴露分布,PEFT限制更新参数。偏好对齐再塑造行为,验证和证据机制处理事实风险。推理优化则从复用计算、减少深度、压缩模型和改变数值表示入手,每条路线都要一起报告质量和资源。

第三部分把模型连到外部世界。工具调用由模型提出、运行时执行;数据经过解析、分块、编码和索引成为可取回证据。RAG进一步分解为改写、召回、重排、精炼、插入与生成,便于定位哪一步丢失必要信息。最后,多模型路由、级联和任务分工控制成本,编程框架把流程与可调提示分离。主线始终是依问题选择最小必要机制,并由真实输入、输出和证据验收。

flowchart TD
 A[数据 词表 架构与目标] --> B[理解能力与失败边界]
 B --> C[任务评估与模型选择]
 C --> D[适配 对齐与推理优化]
 C --> E[工具 检索与上下文]
 D --> F[系统职责 状态与验证]
 E --> F
 F --> G[质量 延迟 成本共同验收]

前言与阅读路线

前言把从演示走向生产视为本书的切入点:框架便于快速搭原型,但可靠应用仍需理解模型原料、适配方法和系统组成。全书三部分依次处理LLM基础、如何使用与适配、以及集成进更大软件系统。

读者需要Python和基本机器学习知识。原书主要讨论英语文本模型,基本排除多语种和多模态,推理模型只作当时的初步介绍;不能把作者的完整读书收益预期或当时模型能力当作当前保证。练习帮助暴露机制边界,补充项目是后续实践候选,当前未运行。

前言的实践主张可概括为从“接口能回答”走向“系统能可靠完成任务”。第一部分提供模型原料的解释,第二部分讨论适配,第三部分把模型放进系统;章节中练习是形成直觉的输入,并不是完成阅读就自动成为专家的保证。

范围也有边界:英语文本是主体,多模态、多语言和成熟推理模型不在本版系统展开范围。补充代码项目是后续实践候选;当前没有安装依赖、调用付费API或运行训练。

进一步阅读:原型可运行不代表生产可靠;应用设计要理解模型原料;阅读结论要保留版本与模态范围。

原书依据 · 3 处

大语言模型入门

第一章从下一token概率预测建立模型直觉,再通过历史路线说明从规则、特征工程到可复用预训练模型的整合。需要保留两类边界:训练语法或棋谱规律的能力不等于任意序列任务都成功;缩放规律的资源配置也不等于只看参数量选模型。涌现曲线与严格评分、细粒度能力之间的关系,应结合用途解释。

企业采用部分属于作者当时的财报分析,提及、试点和生产收益不等价;不把当时数量或公司宣传当作当前事实。语言任务仍应先写输入输出和质量判据。

提示通过任务说明、上下文和示例影响生成,而不是永久更新权重。零样本明确输出空间,少样本示范任务,分步解题和提示链尝试组织中间计算;每种方式都要按任务、模型和成本验证。乱序句容错不等于词序不重要,角色位置的个别实验也不等于权限语义可忽略。接口参数部分保留通用机制,原书OpenAI旧式调用及具体支持范围不作为当前操作指南。

进一步阅读:下一词元训练学习概率分布;离散序列建模不限自然语言;缩放规律依资源约束解释;参数规模不单独决定适用性;涌现结论依赖评估粒度;预训练与任务适配职责不同;端到端整合仍需系统判断;采用讨论不等于收益证据;企业任务先按输入输出拆分;提示是带目标约束的上下文;乱序可读不代表顺序不重要;零样本提示明确输出空间;少样本示范不更新模型权重;提示漂移需要联合版本记录;分步解题须比较收益与成本;提示链拆分职责也增加接口;情绪提示不是稳定性能保证;角色指令与输入数据应分层;多候选还需要可靠选择标准;终止协议可能截断有效内容;采样温度调节分布不是事实性;词元概率不等于事实置信度。

章节末用文档聊天原型贯穿应用流程:解析原文、分块和嵌入建立检索索引;请求到来后改写查询、检索候选,再组织上下文生成回答。相似段落不保证有答案,历史改写也可能改变问题,解析错误更可能让证据在进入模型之前就已丢失。

从原型走向生产要据失败层定位方案。模型适配、检索优化、推理成本、工具接入与系统编排分别解决不同问题,不能把更大窗口、更强模型或微调当作通用修补。文档能放进窗口也要比较实际利用、成本和噪声,而不是只看最大长度。

最后,LLM文本检测只是有限统计任务。词频或词性模板可提供线索,但需评估误报、语言背景与改写影响;不能把某个常见词或一种句式当作机器写作的证明。

进一步阅读:流畅回答仍可能缺少事实依据;单词频率不能裁定机器写作;语法模板只是检测候选特征;检索相似不保证包含答案;问答改写与回答生成职责不同;解析分块会决定下游可见证据;长上下文取舍不只看能否装入;原型失败应定位具体环节;应用方案以质量和资源共同验收;文档问答区分建库与查询链。

原书依据 · 32 处

预训练数据

第二章从四类模型原料转入数据工程。自监督减少逐条人工标签需求,但并未消除采集、抽取和选择的工作。文本常省略共同背景,重复训练和生成更多同类文本也不等于获得新的独立知识;应按任务与验证信号判断边际收益。

本章列举多种公开与专业来源,重点不在记住每个历史大小,而在理解覆盖、风格和混合比例。可访问与可许可使用不同,合成数据也由种子、提示和教师错误共同塑形。

预处理将来源变成模型真正见到的内容。网页抽取会丢表格、代码或结构,标点和长度规则会误删有效文本,语言识别的高分不保证单语。质量分类、KL距离和困惑度都是相对某个参考分布的代理,必须用抽样和下游任务验证,不能把一个筛选分数当事实质量真值。

进一步阅读:模型原料分为四类决策;基础与适配模型来自不同阶段;训练透明度影响故障解释范围;自监督从输入构造训练目标;文本可能省略任务所需背景;过程反馈与最终结果反馈有别;多轮重复不是新增独立信息;数据来源多样性需对应任务;公开可访问与可使用要分开;合成数据由种子与提示塑形;合成多样性可沿受控维度设计;预处理顺序依赖实际输入;网页文本抽取会引入系统偏差;结构化网页信息不应全当噪声;启发式清洗是近似筛选;语言概率不保证文本纯单语;质量标准会偏向参考分布;来源分类器不是质量真值器;困惑度衡量相对模型可预测性;困惑度筛选要防两端失真。

去重需要明确相似定义和粒度,同时区分无意冗余与有意上采样。它可以减少某些重复记忆,却不能保证单次敏感信息不会泄漏。隐私部分因此将检测、格式校验和处置分开:匹配到号码形状不代表真实分配,替换为假数据也可能改变人群分布或破坏共指关系。公开文本的再利用还改变可发现性和用途,不是简单的公开/私有二分。

评测去污染解决另一个问题:训练见过评测信息后,分数无法直接当成未见任务表现。字符重合能发现部分复制,改写和翻译仍可能漏检。数据混合与课程顺序则决定模型实际接触各类内容的频次和时机,不能只读文件大小表。

最后,本章将数据分布连接到下游行为。熟悉任务和高频输出可能更容易,低概率的正确结果有时被常见表达取代;因此评估要区分规则遵循与分布熟悉性。来源与过滤不是中立过程,词表屏蔽、语言阈值和百科偏好都会改变群体覆盖。每个步骤都要有自己的目的、抽样诊断和残余限制。

进一步阅读:去重需明确相似类型与粒度;去重与提高采样权重不矛盾;去重可降低记忆但不是清除保证;成员推断与训练提取目标不同;公开数据仍受原始语境约束;组合信息可能提高识别性;隐私标签体系需要任务约定;格式检测不同于真实身份验证;隐私规则须覆盖实际格式变化;隐私检测与处置分开验收;占位替换与同类替换各有代价;随机替换会改变群体分布;删除高风险来源牺牲部分覆盖;隐私措施需区分风险降低与保证;去污染针对评测信息泄漏;字符匹配不能覆盖语义污染;混合权重决定有效训练暴露;课程学习改变暴露顺序;训练频率可能影响任务行为;语料筛选不可能完全价值中立;关键词屏蔽忽略社会语境;数据治理各步骤要保留目的。

原书依据 · 42 处

词表与分词

第三章将语言模型输入拆成词表、编码规则与嵌入的契约。词表项不是自然语言字典中的词,编号也只在匹配的模型配置中有意义。大小写、空格、拼写和领域术语会改变切分;没有专用token不等于不理解,有专用token也不等于已充分训练。

tokenizer训练从语料学习符号与规则,调用时则按固定配置编码。规范化可能丢信息,预切分限制合并范围,BPE按学习的优先级合并,WordPiece从当前位置贪心匹配前缀;后处理加入任务协议符号。原文把WordPiece说成词内任意最长子串,笔记据官方说明限定为当前位置的前缀匹配。字节级基底提供表示覆盖,但单token可能只含字符的一部分字节。

词表尺寸在序列压缩、参数成本与稀有项学习之间取舍;所谓免tokenization模型也仍有字节或码点输入单位。fertility和parity帮助比较切分负担,不能单独证明模型能力。扩展领域词表则不止添加字符串,还需要模型维度匹配与新表示的学习,并检查对已有切分的影响。

核对来源:HF WordPiece课程、HF分词流水线说明。

进一步阅读:词表类型与文本实例可区分;词元编号只在特定词表有意义;词元边界不等于概念边界;大小写归一是信息取舍;未知词占位会合并不同信息;字符编码用更长序列换覆盖;词表大小平衡压缩与学习信号;训练分词器与调用分词器分开;拼写变体会改变序列形状;免子词模型仍有输入单位;归一化可能不可逆丢信息;预切分限制后续合并范围;偏移位置用于对齐原文;字节对训练按频次逐轮合并;字节对编码遵循学习合并顺序;完整字节基底解决表示覆盖;词片推断从当前位置贪心匹配;词片合并评分不是只看低频;后处理添加模型协议符号;工具标记需要系统执行语义;稀有词元可能缺乏训练;生育率依赖词数定义;跨语言比较须用对齐内容;扩词表还需扩嵌入并学习;分词是带模型约定的流水线。

原书依据 · 25 处

架构与学习目标

第四章先把模型训练拆成表征、计算和优化:嵌入查表给初始向量,注意力跨可见位置聚合,前馈逐位置变换,残差与归一化组织块内信息流。反向传播计算梯度,优化器据此更新参数;训练损失只约束规定目标。

注意力由QK匹配与V聚合构成,多头提供并行投影,位置机制表达序列顺序。权重图不是现实因果解释,也不能消除一句话本身的指代歧义。ALiBi与RoPE注入位置的方式不同,位置外推与权重单调性都不能只凭名称保证。原书将原始Transformer的归一化位置反写;正确Post-LN公式是LN(x+F(x)),与Pre-LN的x+F(LN(x))不同。

交叉熵在独热目标下为负目标对数概率,困惑度则是平均损失的匹配底数指数:自然对数对应exp。均匀分布的PPL为V,却不是最坏值。内在建模表现与外在任务验收分工明确,编码器、双栈与仅解码骨架也应按任务、遮罩和目标共同选择。

进一步阅读:反向传播与参数更新职责不同;分布假说提供语境表征线索;输入嵌入按词元编号查表;注意力通过键匹配聚合值;缩放点积抑制分数尺度增长;多头提供并行投影子空间;注意力图不能消除指代歧义;位置表示补充序列顺序线索;线性偏置与旋转位置不同;逐位置前馈不混合相邻词元;层归一沿每个位置特征计算;归一化位置必须看残差公式;独热交叉熵只取目标项;困惑度的指数底数须匹配;均匀猜测不是困惑度最坏值;内部指标不替代任务验收;编码器与解码器按可见性分工;模型家族选择仍需任务实测;注意力块按计算职责连接。

MoE部分区分总参数容量与每次活跃计算。token-choice固定每个token选择的少量专家,却可能负载不均;expert-choice限制专家容量,却改变token覆盖。门控是学习到的计算分配,不等于人类专业分类,复制稠密层的upcycling也只是初始化。

训练目标由可见信息和计分位置共同定义。FLM按前缀预测后继,PrefixLM允许前缀双向但后缀自回归,MLM只在选定位置恢复。原始BERT的选中位置还包含随机替换和不变分支,T5用哨兵组织缺失跨度,BART用多种破坏重建原文。UL2混合不同去噪形态以拓宽训练,但计分位置比例不能独自决定训练效率。

最后的棋谱模型将数据、领域词表、Transformer与目标组合成小实验。它说明表达设计是可研究变量,而非证明自然语言永远低效。比较相同棋局数时还需控制token数、训练步数、转换质量与计算;效果应按合法着法、完整对局与对手表现验收,不能只凭偶尔胜出推断规则完全学会。

核对资料:原始Transformer论文3.1、BERT原始掩码规则。

进一步阅读:稀疏专家分开总容量与活跃量;词元选专家需要处理负载失衡;专家选词元改变分配约束;专家门控不等于人类专业标签;稠密模型转专家还要继续训练;全语言目标只看前缀预测后继;前缀语言目标分开可见性与计分;掩码目标只在选定位置计分;跨度恢复用哨兵标识缺失块;去噪任务通过破坏构造监督;混合去噪覆盖不同预测形态;目标密度不是训练效率全貌;下一词分数不能直接当解题判断;领域记号改变学习表示成本;等量案例不等于等量训练预算;领域生成先验收规则合法性;训练原料要随实验一起固定。

原书依据 · 36 处

按任务适配模型

第五章把模型选择看成受约束的工程决策。先定义质量底线、资源和部署要求,再逐项检查具体权重变体、数据透明度、可定制性与维护成本。自托管的收益主要是控制与灵活,不应直接等同更低总成本;厂商和许可表是本版历史背景,使用时需重新核对实际制品。

评价部分强调排行榜只是起点。能力基准用于诊断,内部任务样本用于最终适用性;选项概率、自由生成和完整序列评分会产生不同协议。偏好投票也受风格与样本人群影响,自动裁判须有量规并校准,污染探针则只能提供调查线索。模型、提示、解码和解析应联合固定。

运行资源需要分别看权重、缓存和临时内存,训练还包含优化器与梯度。精度格式影响数值范围与存储,CPU/磁盘卸载增加可容纳性却带来搬运开销。加载成功与满足质量、速度和成本是不同验收。

进一步阅读:模型选择先列硬约束与取舍;全生命周期成本不只含词元费;开放程度需要逐项说明;使用许可必须绑定具体制品;指令适配改变行为也可能回退;偏好对齐反映特定评价标准;上下文容量不等于有效利用;领域适配与任务适配分开;社区支持是维护成本的线索;公开基准先看能力覆盖;榜单小幅领先不必触发换模;选择题评分协议影响排名;污染探针只提供调查线索;偏好排序受样本和展示影响;安全评估须写清标准与场景;自动裁判也需可见量规与校准;提示和解码属于评估条件;权重内存只是推理占用下限;数值格式改变范围和精度;卸载以数据搬运换可容纳性。

解码部分比较局部选择、有限前缀搜索与概率截断。贪心和束搜索寻求特定分数下的高概率路径,采样用top-k或top-p控制候选集合;都不自动保证事实正确。配置必须确实启用所需模式,低温、固定种子和重复候选也不能替代可靠性验证。

结构化输出把模型接到软件接口:schema、正则或CFG可控制形式,但内容真实性、类型间关系与证据仍需另一层检查。由程序填结构、模型填内容的工具也有明确支持子集,不能假设任意模型与任意schema都兼容。

调试工具最后把输入、注意力、显著性和表示变化可视化。它们帮助提出可验证的错误假设,不是对现实因果或模型内部真相的直接观察。单神经元可能多义,稀疏字典分解可形成更有用的分析单位,但仍有容量、重建与特征完整性限制。

机制解释核对:Towards Monosemanticity原始研究。

进一步阅读:本地运行工具不消除模型配置;托管与自建按端到端成本比较;贪心只优化当前词元选择;束搜索维护多条候选前缀;固定候选数与累计质量不同;采样参数要与生成模式配合;低温与固定种子不保证全环境确定;多数投票聚合答案并非验证真值;结构格式与内容正确分开验收;约束解码限制的是可生成串;模板填充需识别支持范围;显著性图与注意力图含义不同;扰动输入只能支持限定诊断;单神经元可能混合多个特征;稀疏字典特征是分析近似;调试结果回到任务样本验证。

原书依据 · 36 处

微调

第六章用具体标签任务说明何时考虑参数适配。首先写清输出映射和反例,再确定数据、训练方式与验收。新事实的更新和行为模式的学习是不同需求,检索与微调也可组合;一次提示失败不证明微调必不可少。

资源部分应拆成不同项:优化器状态按可训练参数计,低位优化器压状态,分页迁移缓解显存,激活检查点用重算换存储,梯度累积提高有效批量。BF16浮点和四位权重量化不同,LoRA的秩也不是注意力维度。原例56GB只对应特定全参Adam状态口径,不是适配器训练固定要求。

优化配置没有独立于任务的最佳值。预热、衰减、批量、标签平滑和嵌入噪声应结合质量、校准与回退检查。标签平滑改变的是目标分布;噪声后文本更长不证明信息量更大。按指定库版本核对后,原示例训练轮数与四位加载字段需更正,不能仅凭超参数列表就宣布训练可运行。

进一步阅读:微调改变权重而非塞入更多提示;更新知识与学习行为分开选择;标签定义要排除相似但不同情形;优化器状态按可训练参数计量;优化器内存依算法与实现;低位优化器压缩状态而非全部训练;分页优化器用主存缓解显存压力;学习率须与目标和配置联合调节;预热与衰减控制不同训练阶段;检查点重算用计算换激活内存;梯度累积改变更新批量;混合精度不同于低位量化;校准要求频率匹配概率;标签平滑改变监督分布;嵌入噪声只在训练时扰动;批量大小取决于负载和目标;梯度裁剪限制范数不修复目标;按长度分组减少无效补齐;低秩适配的秩不是注意力维数;配置开关须按指定版本验证。

训练落地还需检查数据如何进入模型:split、字段、模板、结束标记、截断与损失mask共同确定实际目标。多样本packing会改变可见性,保存适配器也不等于保存基础模型或完整续训状态。原例没有独立验证结果,因此本次不把演示称为已完成有效微调。

指令数据由任务定义、输入和目标组成,模板变化既可能是等价措辞,也可能改变任务方向。正反例帮助说明边界,选项限制输出形式。合成阶段可混合先输入与先标签生成以改善覆盖,但仍要检验标签一致、任务可解与分布漂移;按深度和广度演化不代表复杂说明必然有价值。

最后把资源与数据两条线合并:先有可复查标签定义和独立样本,再比较优化配置与消融结果;训练质量不佳时要回到错误类别,避免只围绕某次最高分调参。小规模高质量数据的研究是任务范围内证据,不能推出普遍样本量保证。

版本核对:Transformers4.35训练参数源码、四位配置源码。

进一步阅读:序列打包需定义样本边界;训练数据字段必须实际对齐;保存适配器不同于保存完整模型;消融实验要控制随机波动;指令数据包含任务语义与答案;模板改写应保持任务等价;标签选项帮助限定输出形式;正反例共同说明标注边界;先生成输入可能造成标签失衡;种子质量限定合成数据方向;指令演化分开难度与广度;少量优质数据结论有任务范围;超参数优化不能替代数据修正;微调闭环从标签到独立验收。

原书依据 · 34 处

进阶微调技术

第七章按“为何更新”组织方法:领域与任务分布、知识时效和行为控制需要不同数据与验收。继续预训练沿新分布更新,回放提供旧信号,学习率与正则控制变化;扩展专家或参数则提供新增容量。但共享模块和路由仍可变化,因此不能宣称加专家彻底消除遗忘。

PEFT将更新限制在新增瓶颈、层内前缀、输入软提示或原参数子集中。它节约训练状态与每任务存储,却未免除基础网络计算。瓶颈位置、前缀长度、初始化和推理混批都依实现,百分比与延迟数字不能脱离结构和负载。微调是否学到新能力也需操作化定义,不采用章节末“不能学新能力”的绝对结论。

多模型组合分成输出层集成和参数层融合。前者要处理排序、冲突与额外生成成本,后者要检查架构、词表和参数坐标。共享基座有助于理解增量,却不保证无任务干扰;融合后某些信息变弱,也不等于获得遗忘敏感数据的形式保证。最终应在目标任务、旧能力、隐私目标与资源上分别验收。

进一步阅读:更新参数先说明适配目的;领域与任务自适应范围不同;领域选择可用表示相似度辅助;继续训练面临学习与保留取舍;回放混合保留旧分布信号;继续训练学习率平衡新旧目标;蒸馏约束需明确比较对象;参数扩展需保护既有共享路径;域专家学习仍依赖路由;参数高效不等于前向计算很少;瓶颈适配器先降维再升维;适配器初始行为应接近基座;删减适配层须重新测质量;前缀适配训练层内虚拟上下文;软提示适配只训练输入向量;多任务混批能力取决于执行实现;子集微调保留参数也限制容量;微调能否获得新能力要可检验;输出集成与权重融合分层不同;候选排序需要可聚合比较规则;生成融合需保留证据和冲突;权重平均需要参数坐标兼容;融合不能保证遗忘敏感信息;协作融合须检验任务间干扰;适配器平均也有结构约束;适配方案按变化层次选择。

原书依据 · 26 处

对齐训练与推理

第八章把行为对齐、事实依据和多步求解放在同一质量问题下讨论,但三者的验收对象不同。帮助性、诚实性、无害性需要明确标注标准;典型RLHF先学示范,再学偏好奖励,最后在参考策略约束下优化。奖励分数是人的偏好代理,不等同事实真值,KL也必须比较清楚定义的分布。

幻觉需先指定参照:外部世界是否正确,与回答是否受给定上下文支持,是两项不同指标。知识库检索、采样一致性、独立验证问题、复述材料、解码调整及注意力分类器各处理不同风险。RAG可能找不到充分证据,复述仍可能编造,稳定多数也可能稳定地错。特别要逐字段检验证据,不因人名有来源就随意补生日。Lookback Lens使用按token平均后的归一化注意力比率,分类输出的标签方向决定候选应取高分还是低分。

推理部分区分演绎、归纳、溯因和常识,再引出生成器与验证器的分工。顺序反馈、多候选选择、长过程和搜索都消耗推理时预算;它们是否有效取决于正确候选覆盖、验证器可靠性及任务难度。长解释本身不能证明推导有效。合成推理数据尤其要检查每一步:书中三骰子例题错误,枚举216个有序结果可得27个和为11,概率1/8。

进一步阅读:对齐目标需要拆解为可评估行为;偏好反馈有不同信息粒度;对齐监督先学习示范响应;奖励模型拟合相对人类偏好;策略优化需要奖励与偏移约束;偏好样本必须共享比较上下文;幻觉评估先声明事实参照;知识与自知需分别评估;置信信号必须经过校准;检索增强不能保证无幻觉;多次生成一致不代表事实正确;验证问题应独立作答再修订;复述中间材料仍是模型生成;采样多样性与事实风险要实测;事实核采样逐步收紧候选集;层间对比分布突出晚层变化;预训练分块应保留实体语境;句子补全损失改变训练关注点;上下文忠实性不同于事实正确;证据缺字段应保留未知;回看特征需按原定义计算;幻觉分类指导解码先核标签;多重条件要逐项验证满足;清理无关上下文避免提示污染;演绎结论依赖前提成立;归纳结论保留样本外不确定性;溯因解释需比较竞争原因;常识推断也依赖隐含条件;推理机制假说不能取代泛化测量;思维链文本不自动证明推理;生成候选与验证正确分工;反馈循环必须有终止预算;并行多候选受覆盖与验证限制;推理时算力分配要按任务衡量;概率空间搜索需要质量信号;推理训练链须核实中间算术;对齐与事实性需要多层验收。

原书依据 · 37 处

推理优化

第九章将推理优化分成减少重复计算、加速生成和降低数值存储三类。首先要分清长提示的预填充、逐token解码和并发调度,不把稠密注意力平方复杂度等同端到端全部成本。K/V缓存复用历史状态,跨请求复用要求前缀与模型配置匹配,省去计算同时增加存储;缓存未消除对历史状态的读取。

早退减少层数,蒸馏改变承担任务的模型,两者都需验证质量。token级早退还要满足后续注意力对已退出位置的表示依赖,理论少算未必意味着实际更快。蒸馏信号可以是教师文本、概率、内部表示或反馈,接口可见性决定方法,不是“没有权重就只能文本SFT”。弱到强泛化也只表明特定条件下弱标签可唤起强学生的预训练能力。

推测解码让便宜草稿提出候选,再由目标模型批量验证;是否保持目标分布取决于接受与修正规则,接受率必须连同草稿与验证开销衡量。应用段落并行需先确认独立性,多token预测头也仍需处理联合依赖。最后,量化将范围、精度和存储成本分开:BF16的指数范围不等于FP32精度,整数码必须配尺度与零点,离群裁剪会牺牲尾部。静态校准与动态统计各有成本,最终需在同一任务、硬件和负载下比较质量、首token延迟、吞吐与内存。

进一步阅读:推理优化先辨别瓶颈阶段;优化收益需同时报告代价;键值缓存复用既有前缀计算;跨请求缓存必须匹配前缀;缓存容量与生命周期共同管理;序列级早退减少整段计算深度;令牌级早退要补齐层间依赖;动态计算需评估路由开销;蒸馏压缩的是指定任务行为;教师响应构成任务蒸馏信号;蒸馏扩增要检查输入多样性;白盒蒸馏要明确表示对齐;教师反馈与自教都需质量筛选;蒸馏目标取决于可见接口;弱监督可唤起强模型已有表示;小规模蒸馏成功不能泛化卡数;推测解码批量验证草稿;草稿接受率不等于系统加速;草稿模型可由不同路径构造;章节并行依赖内容可分解;多令牌头仍需要联合选择;浮点范围与精度是不同维度;浮点最小值须区分具体含义;整数量化必须保存尺度约定;对称量化让实数零对应零码;非对称量化引入零点;离群裁剪以尾部误差换分辨率;权重与激活的量化统计不同;动态与静态量化各有成本;优化路线按资源和质量选择。

原书依据 · 30 处

外部工具与智能体

第十章按决策权归属区分被动检索、显式固定流程和自主交互。外部数据先被取回再交模型作答,主要检验检索和忠实性;固定步骤让流程较易定位和测试;自主分解则扩大动作选择空间,也增加前置错误向后传播的风险。智能体不是只要接了一个工具的名称标签,应说明模型究竟能决定什么。

系统由模型、工具、数据存储、循环提示、护栏、验证器和编排层协作。模型生成结构化调用意图,运行时验证并实际执行;执行返回才构成观察。工具资料、业务知识、可复用任务提示及会话记录职责不同,尤其要区分计划、推测和已经发生的动作。检索详细工具说明可节约上下文,但不可丢掉版本、参数或副作用限制。ReAct和反思提供组织方式,未必改善所有任务,也不能让模型自己编造观察或反复无预算修改。

生产质量需要把标准拆成可检查性质。摘要例子中,忠实性、具体性、相关性、完整性、去重、连贯性和结构分别验收。NLI检验来源支持而非现实真值,数值与实体出现只能初筛,不能说明归属关系正确。失败后再生成、局部修复、过滤、异常和回退应有明确条件及再次验证;验证器也有误差和延迟。最后,GUI代理通过DOM或截图形成动作闭环,同样需要观察真实结果,不能仅靠模型说完成来更新状态。

进一步阅读:交互范式按决策归属区分;被动检索将证据选择交给检索器;固定工作流约束步骤自由度;自主流程必须管理中间依赖;可靠性目标取决于失败后果;智能体定义需声明自主范围;任务分解先固定时间和口径;模型分工按任务接口组织;工具定义应明确能力与参数;模型生成调用由运行时执行;工具选择需要时效和适用范围;调用协议须区分等待与结束;参数结构校验不等于业务有效;工具很多时按需取详细说明;查询生成应绑定当前库结构;解释器接入必须隔离执行环境;提示仓库保存可复用任务程序;会话记忆保存动作与反馈证据;个性化偏好与任务事实分开存;可观测轨迹应支持失败定位;工具资料与业务知识职责不同;循环提示传递当前状态与角色;行动观察循环应以真实结果推进;反思要由可识别故障触发;护栏与验证器检查对象不同;输入输出检测器都有漏检边界;验证失败需要明确处置策略;重试与回退是不同恢复层次;摘要质量需拆成独立标准;摘要相关性与完整性分母不同;蕴含检验只能验证来源支持;数值出现不等于关系正确;具体性检查须与内容相关;完整性验证先定义必须保留项;去重和连贯性不是同一指标;结构与排序需采用对应验证;验证比生成容易并非普遍定理;验证器增加质量也增加延迟;编排器负责真实流程状态;界面操作依赖观察动作闭环;智能体系统的执行边界。

原书依据 · 41 处

表示学习与嵌入

第十一章从非结构化资料如何变成可检索表示出发。句向量不是天然语义真值,模型训练决定池化、度量及任务关系。CLS、均值或末token都需查实际配置;对称改写与非对称问答也可能采用不同指令或双编码器。相同主题下的否定句仍可很接近,因此目标域必须明确哪些关系需要区分。

微调以正负关系塑造空间。三元组损失只要求相对间隔,批内负例则依赖其他响应不是有效正例;困难负例挖掘不能把未标注正例推远。指令嵌入把领域和任务条件带入编码,但查询与文档配置须一致。榜单用于挑选候选,最终仍需目标查询和难例验证。大规模存储可用MRL前缀维度、减层、二值或整数及PQ压缩;每种方法改变不同资源,误差须按实际检索与稀有事实检查,不能把压缩比例当质量保证。

从原文到chunk的管线同样关键:解析需保留表格、单位和章节范围;匹配用小粒度,返回可用较大上下文。重叠窗口、元数据、版面和语义分块各有代价,尤其跨页单位和覆盖规则不能只指望相关检索自动找到。后分块先用长上下文编码再按段池化,可补充远程依赖,却仍受模型范围与能力限制。向量库和多层索引管理检索入口,二维可视化及SAE则辅助理解表示,均不构成事实一致性或完整可解释性的证明。

进一步阅读:嵌入表示由任务目标塑造;池化方式必须匹配模型训练;均值池化需要屏蔽填充位置;序列上限与向量维度分开考虑;固定向量不能无损保存任意文本;检索器与阅读器分工验收;对称与非对称检索分布不同;相似度度量应与训练一致;单位化后点积等于余弦;语义相近不保证否定关系一致;领域适配应定义想改变的距离;三元组标签表达任务相关性;困难负例要排除未标记正例;负例阈值方向取决于分数定义;三元组损失只强制相对间隔;批内负例依赖样本互不相关;缓存对比损失换取有效大批次;指令嵌入按任务条件编码;描述式检索查找满足描述的文本;公开榜单不能代替目标域评估;向量存储先算基础字节量;套娃训练让前缀维度可用;维度裁剪必须受真实输出约束;层数与维度是不同压缩轴;二值嵌入以低精度换空间;整数嵌入依赖逐维校准范围;乘积量化保存子空间码本索引;压缩取舍需要端到端检索评估;解析质量决定可检索证据;句子切分需要领域例外;匹配粒度与返回粒度可分开;滑动窗口以重复换邻近上下文;元数据边界保留章节作用域;版面理解补充文本结构线索;语义分块保留非连续来源;全局单位必须传递到局部证据;后分块先全局编码再局部池化;向量库管理索引与元数据;多层表示支持不同检索入口;降维图只帮助观察局部模式;稀疏特征解释依赖所学字典;表示管线需保留来源映射。

原书依据 · 42 处

检索增强生成

第十二章将RAG从“找几段文本放入提示”扩展为可分解、可诊断的知识增强管线。检索对象包括事实、历史、示例与工具资料,其相关性标准不同;是否检索应考虑时效、模型范围及错误后果,而不是简单以知名度或模型参数量决定。改写缓解词汇差异,但必须保留原始约束;PRF会受首轮偏题影响,HyDE生成的假想材料只作检索代理,绝不能流成事实来源。

召回先覆盖必要证据,再用重排提高前列精度。BM25和语义检索互补,过滤错误会直接漏证据;图结构可服务全局主题,但抽取关系也会错。双编码、交叉编码和ColBERT后交互有不同预计算与交互成本,单标量分数也不自动是概率。QLM用同一查询的条件似然排名,点式、对式和列表式排序则分别承受校准、非传递及位置/窗口限制。

精炼压缩不能丢失主体、单位、否定或来源。抽取原句仍可能切断作用域,抽象摘要则有新增事实风险。用正确答案似然筛选训练摘要和few-shot例子是训练期办法,未知查询不能在线凭空取得金标。CoN明确文档是答案、背景还是无关,有助于保留未知,却也要检验笔记是否越过证据。插入顺序及主动检索影响长文质量,低概率触发只是风险代理。

外部记忆扩大可取回历史,不是无限实际上下文;摘要会损失细节,需保留原始回溯。REALM说明检索也能参与预训练,防泄漏排除的是同源未遮挡句,不是所有含答案的文档。面对知识冲突、长窗口与微调选择,最终应比较具体任务的证据支持、覆盖、延迟和成本,避免把任何单项技术视为全能替代。

进一步阅读:检索增强针对知识可达性;长尾事实记忆缺少确定阈值;检索对象不局限外部知识;动态检索按时效和风险决策;可选阶段要有独立增益证据;查询改写要保留原始约束;伪相关反馈依赖首轮质量;假想文档是检索代理不是证据;多次扩展一致仍可能共同偏题;查询与文档改写分摊成本不同;复杂检索可拆成带依赖子问;首轮召回应覆盖所有必要证据;词法检索仍是有效基线;混合检索需定义融合方式;元数据过滤错误会直接漏召回;生成检索先建立文档标识映射;合法标识约束不能保证相关;紧耦合检索优化下游收益;图检索用关系支持全局主题;重排无法挽回首轮漏掉的文档;交叉编码联合比较查询与文档;重排分数要核对激活函数;后交互预计算文档令牌表示;查询似然按候选文档条件计算;似然排序取决于接口可见性;点对列表排序有不同误差;排序蒸馏继承教师和候选偏差;证据压缩要保持回答必要条件;抽取摘要也可能丢失语境;紧耦合摘要用答案收益筛选;金标似然不能在线凭空获得;链式笔记区分答案与背景;间接先后描述不必然证明继任;笔记与答案损失需分开权重;证据插入顺序要结合有效窗口;分文档生成再融合有额外风险;主动检索以生成状态决定取证;低概率触发检索只是代理信号;显式检索标记需要运行时处理;引用正确需匹配具体主张;外部记忆扩大可取回范围;摘要记忆与原始记录互补;动态示例以任务收益衡量;检索也可参与预训练目标;平凡检索排除同源答案泄漏;知识冲突必须回到来源判断;长窗口评估要加入相关干扰;长上下文和检索是组合选项;微调与检索改变不同层面;知识增强管线保留证据链。

原书依据 · 50 处

设计模式与系统架构

最后一章将模型能力转化为系统决策:多模型既可分工不同子任务,也可共同承担同一类问题。级联先尝试低成本模型再按结果升级,适合大量简单请求,但困难请求会承担累计成本;预路由直接选择模型,省去重复推理却承担误判难度风险;任务专用模型则需要清楚子任务接口和整合验收。门控信号必须在目标分布校准,首token间隔、口头置信和一致性都只是代理。

编程框架把迭代变成可组织的软件过程。DSPy模块与签名表达输入输出及流程,优化器调整提示、示例或参数;优化效果依赖任务数据和评价指标,不能用编译成功替代业务验收。LMQL将生成占位符、停止条件和控制流写成声明式约束,可控制结构而不保证内容事实正确。全书由此收束:按最小必要能力和可验证接口组合模型、数据、工具及反馈,在质量、延迟和成本间通过证据做选择。

进一步阅读:系统架构把模型置于质量约束中;多模型分工有两种基本方式;级联先尝试便宜模型再升级;级联门槛必须校准错误放行率;首词概率间隔不代表整答可靠;预路由节省重复推理也有误分;专用模型接口需保留任务约束;编程框架分离流程与可调变量;模块签名定义输入输出契约;优化器效果由指标和数据约束;声明式生成约束不保证语义正确;架构选择对齐决策发生时机。

原书依据 · 12 处

跨章综合

贯穿全书的第一条联系是“表示与依据不同”。token概率描述模型倾向,嵌入距离描述训练目标下的相似,奖励分数描述偏好代理;这些都不是事实真值。模型相当确定、候选多数一致、检索相似度很高,仍可能共同忽略否定、时间或作用域。将分数还原为其计算对象,才能选择可靠验收信号。

第二条联系是“适配与外部补充互补”。微调可以改变任务行为和领域处理方式,检索在当前请求提供可追溯资料,工具将精确计算或外部动作交给专门执行器。它们并非互相排斥的按钮,组合时也不能混淆职责:把工具调用写出来不是已执行,模型在训练中见过某schema不保证记住最新结构,检索到文档不保证生成保留其中的关键限定。

第三条联系是“压缩、效率与信息保持”。数据过滤可能丢掉罕见语言,token截断可能丢掉尾部,量化可能改变排序,摘要可能切断单位和例外。缓存、裁剪、早退及多模型调度都在不同资源上做取舍。因此应把质量和资源放在同一任务与负载下衡量,不能把单项理论节约直接加成整体收益。

最后,系统验证要逐项可追溯。原文、来源位置、模型与库版本、接口参数、工具观察和失败反馈各自保存,才有条件区分资料不足、模型能力不足、实现错误与编排错误。本书提供的许多历史示例具有启发作用,但部分公式、数值及接口说明需保留本次逐单元记录的修正边界;代码存在和能运行都不能替代计算语义正确。

发散与实践

读者延伸:本次采用两项互补实践。嵌入检索实现深读围绕Sentence Transformers固定v3.3.1提交,已核验并读取池化、分批检索和量化入口,附90分钟快速计划与逐单元详细计划。读书检索证据评估表使用当前库的真实卡片和原文,规划12道问题及必要证据和错误归因,不先搭建新服务。

实践文件为idea-001-嵌入检索实现深读.md、idea-002-读书检索证据评估表.md,点击入口见概览。前者首轮源码映射已交付,后续完整阅读与评价样本仍是计划;二者均未宣称获得训练结果或业务收益。完整预训练、多模型付费比较、自动现实操作与大规模系统重造未采用,当前学习缺口可先用有限源码和证据结构解决。

生成进度与管理记录

Designing Large Language Model Applications

Skill 版本:v24

执行模式:light

建档进度:done(全文阅读、知识卡、实践筛选、整书讲解、导入对账与归档验收均已完成)

四象限评级:经典原理(高信息浓度、高稳定性),按当前规则P4。

内容形态:概念解析型,结合工程练习。

评级理由:全书以数据、分布、表示、适配、检索和系统取舍的机制解释为主体,概念比较与条件说明密集,核心关系可迁移;大量库、型号和接口为历史实例,已与耐久机制区分,不把版本代码当通用正确性保证。

整书笔记

章节进度追踪表

章节号 章节标题 状态(pending/done) 卡片数
00 前言与阅读路线 done 3
01 大语言模型入门 done 32
02 预训练数据 done 42
03 词表与分词 done 25
04 架构与学习目标 done 36
05 按任务适配模型 done 36
06 微调 done 34
07 进阶微调技术 done 26
08 对齐训练与推理 done 37
09 推理优化 done 30
10 外部工具与智能体 done 41
11 表示学习与嵌入 done 42
12 检索增强生成 done 50
13 设计模式与系统架构 done 12

来源与非正文排除

  • 身份:标题页/封面Suhas Pai,版权2025年3月第一版,首次release2025-03-06;OPF出版日期2025-03-12;本文件ISBN9781098159047,前言引用纸本ISBN9781098150501,保留区别。
  • OPF标题带个人分发后缀,不作为书名;规范书名经封面和标题页确认。
  • cover、赞誉、标题、版权、献辞、作者与colophon全文已读;封面已查看,无独立机制。作者职位保留原书时点,不当作当前事实;鲸鱼介绍不属于技术主线。
  • 三个分部引言并入导读,目录已读;index全文57510字符已读,仅术语与回跳导航无新增机制。

待关联术语

术语名 出现章节 一句话语境

引用文献

标题 类型(书/论文/框架/源码项目) 出现章节 一句话语境

资金安全问题案例

问题标题 问题卡 解决方案卡(如有) 出现章节 一句话说明

实践卡进度

序号 实践标题 实践方式 状态(pending/done) 关联章节 产出
1 嵌入检索实现深读 实现深读 done 11 计划;首轮源码映射已准备;实际实践未执行
2 读书检索证据评估表 真实任务 done 10⁄12 计划;后续评价样本待实际整理;实际实践未执行

实践候选筛选:done。采用2项;未采用完整预训练、大规模模型下载/训练、付费多模型比较及现实自动操作,有限源码与证据任务足以覆盖当前学习目标。

第1章引用与提名登记

名称 类型 去向
Kaplan缩放研究、Hoffmann计算最优研究、Wei涌现研究、Schaeffer评估研究 论文 主张作为版本化背景,机制并入第1章,不声称外部全文已读
ELIZA及Wade Brainerd实现、Chess-GPT、Geneformer 项目 规则/序列建模例子,未复现
Speech and Language Processing、Foundations of Statistical NLP、Bender语言学书、Goodfellow Deep Learning、Dive into Deep Learning、Goldberg Neural Network Methods 书 作者延伸阅读,不据书名凑独立知识卡
Learn Prompting、APO、AutoPrompt、Sprague CoT研究、Gandalf、Li情绪提示研究 教程/研究 提示边界参考,未执行对抗提示或外部游戏
I Am a Strange Loop、I am a strange dataset、Shaib语法模板、diversity 书/数据/研究 能力与检测评估线索,不复述历史无模型能答成当前事实
LangChain、Gradio、Unstructured、Sentence Transformers、Chroma、OpenAI 框架/服务 原型职责及旧接口示例,未安装或调用

第2章引用与提名登记

名称 类型 去向
Common Crawl/C4、The Pile、WebText/OpenWebText、Wikipedia、BooksCorpus、FineWeb/Edu、ROOTS、RedPajama/SlimPajama、RefinedWeb、CCNet、BERTIN 语料/管线 来源与清洗策略背景;版本大小与可用性非当前核验
phi、Cosmopedia、SmolLM 模型/合成语料 种子与受控提示机制,未下载
jusText、Dragnet、html2text、inscriptis、Newspaper、Trafilatura、langdetect/langid、fastText、pycld2、KenLM、DataTrove 工具 抽取、识别、质量与规模处理,各按正文职责登记
MinHash/LSH、SimHash、Suffix Array 算法提名 近似/片段去重参考,本章不补造未给算法细节
Carlini、Lee、Tramer、Muennighoff、Xue、Goyal、Razeghi、McCoy、Rogers、Dodge等研究 论文 本章机制及观察的追溯线索,未声称全部外部全文已读
Faker、python-stdnum、DP-SGD、DoReMi、RegMix 工具/方法 隐私替换、格式校验、形式保证及混合参考,未执行

第3章引用与提名登记

名称 类型 语境
GPT-NeoX、BERT、FLAN-T5、tiktoken、Llama/Gemma 模型/工具 词表及编码历史示例,不声明当前固定ID/支持集合
CANINE、ByT5、Charformer 研究模型 码点/字节及内部压缩路线,未运行
BPE、WordPiece、Unigram LM、GALACTICA 算法/模型 已展开BPE/WordPiece机制成卡,Unigram仅提名不补写
Tao词表缩放、Goldman/Schmidt压缩比较、Petrov语言parity 研究 词表预算与评估争议,未将压缩质量关系当定理
HF WordPiece课程与Tokenizers pipeline 官方资料 核对前缀贪心与训练公式来源边界

第4章引用与提名登记

名称 类型 去向
Attention Is All You Need、BERT 原始论文 核对原始Post-LN与80/10/10替换
ALiBi、RoPE、NoPE、MoE、upcycling 架构技术 按正文具体展开成卡,未扩大为无限外推或必然优势
GPTNeo、T5、BART、UL2、Switch、Mixtral、DeepSeekV3 模型 骨架与目标的版本示例,GPT4MoE未确认不作事实
NLTK、Emma、Firth分布假说、Goldberg神经NLP 工具/书/观点 语境表征与延伸阅读,不声称全部外部全文已读
Lichess、PGN、Chess-GPT及书附项目 数据/记号/项目 领域表示实验候选,未下载棋局或训练

第5章引用与提名登记

名称 类型 去向
FLAN、RLHF、RLAIF、ConstitutionalAI 数据/训练范式 本章说明变体来源,第6/8章待展开
LM Evaluation Harness、Open LLM Leaderboard、HELM、Arena 评测工具/榜单 协议与样本边界;不更新或推荐当前排名
MMLU、ARC、HellaSwag、TruthfulQA、WinoGrande、GSM8K 基准 任务覆盖参考,不把总分等同应用收益
Accelerate、Ollama、LMStudio、GPT4All、TGI、GGUF 部署工具/格式 本章版本语境,未安装运行或确认当下支持
Jsonformer、LMQL、Guidance、LIT-NLP 输出/调试框架 形式控制与诊断职责,未称通用全部兼容
Towards Monosemanticity 原始研究 SAE特征解释的有限范围,来源见research证据
商业厂商、公开模型与许可证表 历史分类 只登记本版选择背景,不作为当前商业/法律判断

第6章引用与提名登记

名称 类型 去向
Transformers4.35、Accelerate0.24、PEFT0.6、bitsandbytes0.41、TRL0.7.4 框架 原锁定版本;只核对指定配置源码,未安装训练
AdamW、Adafactor、SGD、Lion、低位及分页优化器 优化器 状态/资源职责,未按历史经验推荐当前通用默认
LoRA、NEFTune、标签平滑、packing 方法 本章机制和限制,LoRA第7章继续展开
FLAN/P3、Super-NaturalInstructions、Self-Instruct、UnnaturalInstructions、Evol-Instruct、LIMA、Bonito 数据/研究/工具 指令构造路线和覆盖边界,未生成或下载数据
LearningRateFinder、Jin学习率论文、Bulatov检查点说明 工具/参考 原文延伸阅读,不声称外部全文已读或运行

第7章引用与提名登记

名称 类型 去向
DAPT/TAPT、DEMix、Replay、参数扩展 方法 新旧分布和共享路径限制,未训练
adapters、AdapterDrop、prefix/prompt tuning、BitFit、可学习掩码 方法/工具 新参数与子集路线,各按展开范围取材
LLM-Blender、PairRanker、GenFuser、ColD Fusion、AdapterSoup、AdaMix 框架/研究 输出与权重融合分工,不推导未给出算法细节
Aharoni、Jin、Winata、Gupta、Gururangan、Lester、Zaken、Zhao、Jiang、Zaman等研究 论文 原文追溯线索,未声称全部外部全文已读

第8章引用与提名登记

名称 类型 去向
Askell/HHH、RLHF、PPO、Anthropic hh-rlhf、TRL 原则/方法/数据/框架 示范、偏好及策略优化分工;未训练
SelfAware、CoVe、Recitation、Factual Nucleus Sampling、DoLa 研究 自知、交叉检查与解码路线;DoLa原作者摘要与实现入口查阅
Lookback Lens 论文 原文2.1公式及标签核验:https://arxiv.org/html/2407.07071v1
Knowledge Overshadowing、S2A、Dziri子图匹配、推理时计算、reasoning-0.01 研究/数据 条件覆盖、干扰处理、推理假说与算术核验;未运行模型

第9章引用与提名登记

名称 类型 去向
KV cache、context caching、FastBERT、HashEE、CALM、MoE 方法/研究 缓存与动态计算,各项成本/质量约束;未部署
DistilBERT、Xu蒸馏综述、Liang层级蒸馏、RLAIF、Burns弱到强泛化 研究 蒸馏信号与可见性、学生能力边界
DistillSpec、自推测解码、REST、Medusa 研究/方法 草稿、检索和多头候选不同实现;不补造原书未展开的算法
Demystifying Floating Point Precision、A Visual Guide to Quantization、Zhou推理优化综述 教程/综述 延伸入口,未声称外部全文已读

第10章引用与提名登记

名称 类型 去向
LangChain、LlamaIndex、DuckDuckGo、Wikipedia、arXiv、PythonREPL、SQLDatabase、Llama3.1/llama-stack 框架/工具 调用、执行和schema分工,历史接口示意;未运行
ToolLLaMA、ReAct、Reflexion/Reflection-Llama、LangSmith、Langtrace、OpenLLMetry 研究/观测 选择、循环、反思与轨迹;未声称完整外读
Guardrails、NeMo Guardrails、Llama Guard、Presidio、Rebuff、Bleach 框架/检测 按具体风险取材,不作100%安全承诺
BLEU、ROUGE、BERTScore、spaCy、Thareja先决知识检测、SAT/逻辑规划 指标/研究/工具 多维验证及来源忠实性,符号实现原书未展开不补造
CrewAI、AutoGen、MetaGPT、XAgent、Computer Use Demo 框架/演示 编排与GUI闭环入口,未执行现实操作

第11章引用与提名登记

名称 类型 去向
Sentence Transformers/TAS-B、MPNet、BGE-M3、Jina、SGPT、OpenAI/Cohere/Nomic 模型/服务 池化、任务与版本约定;只取TAS-B/Nomic配置未下载权重
Moreira负例、TripletLoss、MultipleNegativesRankingLoss、Instructor、Ravfogel描述检索 研究/训练 标注、损失和指令分工,未训练
MTEB、MRL、Espresso、Matryoshka2dLoss、PQ、Qdrant 基准/压缩 应用评估与存储取舍;研究数字限定实验
Punkt、spaCy、Stanza、ClarityNLP、Unstructured、Textractor、LayoutLMv3、ColPali、Jina late chunking 解析/分块 边界与作用域、先编码后池化,不补造未展开算法
Chroma、Weaviate、Milvus、Pinecone、LanceDB、ElasticSearch、Redis、Postgres、Nomic Atlas、Prism/Linus Lee 数据库/可视化/解释 功能及观察用途,不按书中列表作当前推荐

第12章引用与提名登记

名称 类型 去向
MEMIT、Kandpal/BLOOM长尾、Jagielski遗忘、Mallen动态检索 研究 记忆与检索条件,研究数值非普适阈值
PRF、Query2doc、HyDE、query2document2keyword、doc2query、contextual retrieval 改写 检索代理及漂移边界,不作事实证据
BM25、Lucene/ElasticSearch、TF-IDF、DFI/DFR/IB/Dirichlet/Jelinek Mercer IR方法 基线及混合路线,原书未展开的公式不补造
生成检索/Pradeep/Tay/Wang/Askari、LLM-Embedder、GraphRAG 研究 标识映射、下游反馈与图关系质量
CrossEncoder、ColBERT、QLM、RankGPT/RankVicuna/RankZephyr、Xu摘要、Yu CoN、FLARE、Command-R 研究/工具 排序、压缩与主动取证,均未运行
Letta/MemGPT、Mem0、LLM-R、REALM、RECALL、needle tests、Ovadia对比 研究/框架 历史、示例、训练和方案比较,不冒称全面外读

第13章引用与提名登记

名称 类型 去向
LLM-Blender、Ramirez margin sampling、级联/路由/专用模型 研究/架构 多模型职责与置信代理,不声称最佳模型当前推荐
DSPy、ChainOfThought、Signature、Optimizers、LMQL 框架 声明接口、迭代指标与输出约束,未安装执行

生成交付

446张知识卡、2实践计划,完整整书笔记及逐单元覆盖已完成;25项spine全部读取。轻量模式未执行生成后的笔记复核、独立审查或审查结果优化。

相关主题

从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。

暂无公开主题。