此笔记位置已失效,请从目录继续阅读。
全书导读
这本书是一条以Python为练习媒介的自然语言处理路线。自然语言处理(NLP)把人写或说的话变成可供程序分析、检索与生成的对象;本书从词元和词频开始,再进入神经模型,最后组合成能检索知识、管理状态并回复用户的应用。读者不必先相信机器“理解了语言”,而应逐层询问:输入保留了什么、转换丢了什么、输出如何验证。
前三分部的关系是递进的,但不是后来的模型彻底取代之前的方法。词袋提供便宜透明的基线,主题向量压缩共现,词嵌入学习分布表示,卷积与循环利用序列结构,Transformer通过注意力连接位置。到了现实应用,规则、分类、搜索、知识图谱和生成又可共同协作,各自承担不同职责。附录把运行环境、Python、数学、评估与部署接回这条主线。
本书的价值在于把表示、模型和可用系统连起来,解释输入、目标及工程取舍。使用时也要注意边界:部分框架示例依赖旧API,若干数值、概率、类型及术语说明存在错误;对于企业动机、模型绝不推理和某方案普遍更好的判断,也不能照单全收。这里的讲解依据原书与生成时核验材料明确条件,不把演示输出写成已在本机复现的实验。
推荐先理解第1–4章的表示与评估,再用第5–9章认识可训练模型,最后以第10–12章及附录E观察完整系统。只关心检索问答时,也应先理解词元、向量和相似度,才能判断后面检索与生成各在何处失败。
全书主线
文本首先要被分成可处理单元。词元可以是词、子词或字符,分词和归一化决定后续词表如何覆盖输入。把词出现次数放进固定坐标,就有了词袋向量;TF–IDF进一步降低常见词的区分权重。这里得到的是可计算表示,不是天然完整的句义。
稀疏词项坐标能支持字面检索,却难处理不同措辞。LSA等方法压缩统计结构,Word2Vec与其他嵌入方法学习词的分布关系,让相似性比较更灵活。表示选择仍有代价:词袋弱化顺序,静态向量难区分同词语境,稠密相似又可能忽略否定、数字与细节。因此每次升级表示,都需要保持明确任务与独立评价。
神经网络学习输入到输出的可调转换。卷积在局部窗口找模式,循环网络把此前信息汇入状态,门控控制保留与更新;Transformer则利用注意力在可见位置之间聚合信息。不同结构的共享参数、轴顺序与可见性限制不同,不能只凭类名或能够前向运行就判断训练正确。分类、多标签、语言建模和翻译还使用不同目标。
应用层把这些组件连起来。检索先提供候选证据,抽取或生成负责形成答案,图谱让部分实体关系可显式查询,对话管理决定下一状态与动作。模型流畅、文档命中和动作完成是三件事,必须分别核实。数据、标签、模型、缓存、界面与日志形成一组相互依赖的契约,系统质量取决于整条链而非最醒目的模型。
flowchart LR
A[原文与任务范围] --> B[分词及数值表示]
B --> C[统计或神经方法]
C --> D[检索分类抽取与生成]
D --> E[会话决策及实际动作]
E --> F[任务结果与错误证据]
F --> A
这个图表示设计反馈关系,不是说所有应用都要依次运行每一种算法。可复用的学习方式是先保留简单基线,再用具体错误判断哪一个组件值得改变。
前言
前言介绍第二版从传统NLP工具延伸到现代嵌入、生成模型和对话系统的背景,同时鲜明主张面向使用者和社会利益设计技术。应把工具演进、作者商业判断和价值倡议分开:模型能够影响信息接触与交流,不等于某个政治或社会事件可由单一算法解释。
作者希望读者既学会构建系统,也学会识别操纵与误导。这里提供的是学习动机,不将书中研究人数、社交点赞数、市场地位或特定组织描述直接当当前已核实事实。后续章节仍需通过具体表示、训练和评价机制理解技术。
进一步阅读:技术目标需要同时检查使用者利益。
原书依据 · 1 处
关于本书与学习路线
本书面向具备Python与基础机器学习知识的读者,按表示、神经模型和现实应用分三部分。第一部分用词项统计与语义压缩建立可计算表示;第二部分介绍神经网络、词嵌入、卷积与循环;第三部分组合Transformer、语言模型、知识图谱与会话设计。附录补工具、语言、数学、机器学习和部署条件。
导读还说明源码位置、历史Python环境和书页代码的排版变化。源项目nlpia2及相关模块用于学习案例,不能只因书中给安装命令就认定当前环境无差异可运行。对话、检索或知识接入可帮助完成特定任务,但检索不会自动消除幻觉、知识图谱也不自动保证推理正确。所有先进聊天机器人都依赖RNN式循环的表述过宽;自回归多轮生成与模型内部循环结构应区分。
进一步阅读:学习路线从表示逐步走向应用;代码排版与真实运行材料需区分。
向量模型分部导言
第一部分把词项拆分、频率统计和语义压缩连接起来。词是表示的入口,词频向量可作为文档比较的基线,压缩后向量可用于主题与语义检索。分部导言只安排后续机制,不新增重复卡;检索结果和业务约束仍须在具体章节定义与评价。
会读写的机器与自然语言处理
本章从自然语言歧义和系统任务出发,区分编程语言接口、自然语言理解与生成。词元、语法、数值表示和解码各有职责,向量易于计算并不等于已经覆盖全部意义。语言中的共同知识可压缩表达,也使问候、讽刺与隐含意图难以只靠字串解释。写作与修订帮助组织想法,但拟人的比喻不能直接证明机器具有同类认知。
最小聊天机器人展示了三步:识别问候、抽取称呼、选择模板回应。关键词列表依赖空白和大小写,正则扩大形式覆盖却仍可误报漏报。match只检查起点而非完整输入,groups仅返回捕获子串;复杂问候模式漏hi Rosa、接收ello Rosa,并只提取Rosa Parks的第一部分。模板中的大小写处理与空身份字段也需按真实代码解释。
统计路线由样例与回应检索进入词袋和向量空间。字符编辑距离适合形式相近,词袋统计保留出现次数但丢掉词序,统一词表坐标与稀疏存储决定比较是否有效。降维和余弦提供不同观察方式,不能将相近分数直接当事实或句义等价。逻辑查询中的并且、或者及作用范围尤其需要保留结构。
完整架构将解析、分析、生成、选择和记忆连接起来,并可将候选回应重新评分。抽取知识、检索材料与逻辑推理承担不同证据责任;流畅回应也可能错误。规则与数据驱动方法各自需要维护,只是设计工作从模式转向语料、目标和评价。作者的社会利益倡议和招聘案例提示自动化价值还包括覆盖与监督成本,不可由技术能力直接推出收益。
进一步阅读:自然语言歧义需要语境约束;词元和语法是处理文本的不同层;文本流水线按阶段形成数据契约;自然语言理解不等于只做向量化;生成输出需要从符号编码还原文本;自然语言接口不能免除行动校验;写作修订能暴露概念组织缺口;对话理解依赖共同知识与假设;语音识别与文本处理分开验收;基准成绩受任务与评价条件限制;人工监督的成本与覆盖取舍;抽取式与生成式产出有不同依据;有限状态模型按状态和输入推进;形式语言类别反映表达能力约束;正则适合可明确界定的文本模式;正则表达能力与运行代价分开;意图类别描述目标而非单个词;关键词识别先处理空输入和边界;大小写归一化是一种信息取舍;模式的重复范围须按实际语法解释;匹配前缀不同于识别完整输入;捕获分组用于取值而非语义保证;原始字符串只改变转义处理层次;误报与漏报可在同一规则共存;回复模板还需核对抽取与路由;统计检索不再要求逐句写回应规则;字符距离与语义相似回答不同问题;语料库与词表承担不同索引职责;词袋保留计数但丢掉全局词序;稀疏表示只存实际出现的项;停用词与稀有词过滤会改变证据;文档向量比较要求同一特征坐标;降维表示在压缩与保真之间取舍;余弦比较方向不等于普通投影距离;字符独热序列保留顺序但表示较大;词序对逻辑查询尤其重要;候选生成与回应选择应分别定义;会话记忆与通用知识分开存取;知识抽取与逻辑推理依赖不同证据;检索式聊天与规则聊天各有成本;模糊正则放宽形式匹配而非理解;能力评价需要任务宽度与处理深度;数据驱动改变设计工作的重点;自测检索与主动学习应区分;对话流水线把回应也送入评价。
原书依据 · 45 处
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
思维的词元
本章将文本表示的选择落实到分词、词表与情感预测。空白、正则及语言流水线有不同规则和输出,分词与词性、句法、实体标注应分开比较成本。词元数量不同于类型数量,分词也并非必定有损:能否还原原文取决于是否保留空白、规范化和位置。
子词在词表规模与序列长度之间取舍。BPE迭代合并当前相邻符号,字符二元组统计只是观察材料,尚未实现合并训练;字节和字符不是同一基础单位。WordPiece与BPE训练和切分有差异,SentencePiece则可承载BPE或Unigram等算法。固定词表编号必须与模型嵌入和输出参数一致,不能每换数据都随意重训分词器。
n-gram保留部分局部词序,停用词、大小写、词干、词形还原与同义替换分别合并不同变体,也都会改变可区分的信息。to和as可能决定角色,句首姓名也不宜随意小写;规范化应在验证数据上判断收益。中文分词又需分开字、词与语法标记,汉字部件不是可随意去除的词根,jieba精确模式也不等最少词数。
数值表示从独热序列到二元或计数词袋,再采用稀疏结构节省零项存储。序列表示保留位置,词袋丢全局顺序;检索复杂度由索引和候选决定,不天然为常数。密集独热内存示例还需区分一字节与一比特,编号和查表往往能避免显式扩张。
情感分析展示词典规则与数据学习两条路线。VADER综合分数不是正面概率,朴素贝叶斯分类概率线性缩放也不是连续回归。电影评论训练集约93%不能当泛化证明,产品评论迁移需沿用原词表和列顺序,并与实际类别基准比较。新词类型、未知词元和语义分布漂移应分别诊断。
进一步阅读:词元切分决定后续可用的信息;空白切分不自动剥离标点;正则分词要按实际字符范围解释;词元个数与词表大小各自计数;词元切分和语言标注分开计时;基准吞吐应核对单位与样本规模;编译缓存不等于无需管理模式;子词粒度在词表和序列长度间取舍;字符覆盖不等于任意输入无未知项;字节与字符是不同的基础单位;字节对编码按相邻符号迭代合并;字符计数示例尚未实现BPE训练;词表索引必须与统计表行对齐;两种子词合并算法不同;句片分词工具支持多算法;分词器必须随模型保存并固定;连续词组保留局部顺序线索;增大词组范围会扩展稀疏特征空间;功能词可能承载关键角色关系;停用词规则按任务验证并固定;停用词比例不能直接判定内容操纵;大小写归一化需配合实体与词形;查询与索引归一化应使用同一契约;归一化可能提高召回并降低区分力;词干与词形还原目标不同;简化去尾规则须说明覆盖边界;词干按多阶段条件处理;词形还原结果受词性和词典限制;同义替换不同于词形还原;精确匹配与归一化召回可以分层;同义增强样本须核对标签稳定;中文分词需区分字词和语法标记;精确全模式与检索模式目标不同;汉字部件分析不等于词干提取;独热还原词元需区分原文;词元编号可避免显式存全部零;二元词袋与计数词袋保留不同信息;词袋检索复杂度需结合索引结构;稀疏矩阵仍需固定维数与类型;形式相近不代表情感或命题相近;情感指标需先明确测量对象;词典情感法依赖分词与组合规则;情感分项与综合分数不同;弱标签能提供样本但不是金标准;朴素贝叶斯分类并非词典打分复制;二类概率线性换算不是情感回归;训练集成绩不能代表泛化效果;跨域预测必须复用训练特征坐标;未知类型占比不同于未知词元占比;跨域低分需与实际基准比较;词元表示沿两条方向压缩;子词训练与模型使用分开管理。
原书依据 · 52 处
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
词频与逆文档频率向量
本章将词袋逐步变成检索工具。二元出现与计数保留的信息不同,TF又可把次数除以文档长度;不论选择哪一种,查询与文档都必须共享词表坐标。分句或分段改变文档频率,索引拟合与监督测试也有不同数据边界。稀疏矩阵让大量零项不必逐个存储,但一旦转稠密,仍要按行数、列数和元素字节数计算真实内存。
文档比较使用点积、范数与余弦。点积只乘对应坐标,余弦对非零向量除去整体长度影响;归一化后点积恰为余弦相似度。相似度不是共享意义的百分比,负数也不是逻辑反义。书中二维距离与计时例有算术或口径问题,应以实际向量和调用次数核对。高维表示需根据稀疏性、索引与质量要求选择方法,不能按固定维数宣布精确检索失效。
齐普夫近似幂律解释词频为何高度不均匀,却不自动给每个词确定的重要性。DF只计包含词的文档数,IDF利用跨文档稀有程度增加区分力;TF和IDF相乘得到权重,仍不是语义或真理度量。计数、对数、平滑和向量归一化是不同步骤,原书公式与库默认并非完全相同,全量再取对数也不等于次线性TF。
检索时将查询编码为同一空间,利用稀疏计算或倒排表找候选,再按约定的相关性排序。倒排索引减少无关扫描,代价仍取决于列表和候选,不是恒定时间。BM25类方法还分别考虑词频饱和与长度归一,具体公式和参数须落实到实现及评价。
FAQ机器人把相似问题对应到预存答案,形成可复现的简单问答基线。未知词、零分与表面共享词会导致强制匹配错误,因而需有效特征检查、候选观察与拒答设计。行索引必须沿用同一映射,最高三项的升序切片也不能误当降序。词项、字符与语义特征各有优势,改进需要独立问题集和错误代价评价,而不是以规模或新旧保证准确。
进一步阅读:词频表示需固定特征坐标;二元出现与词项次数不同;相对词频依赖文档长度;文档粒度会改变逆文档频率;计数与输出须来自同版语料;拟合词表时区分检索与预测;文档频率筛选不按总出现次数;变换器接口不表示神经架构;稀疏转稠密前先计算元素成本;向量化要按实际运算路径解释;内存映射会被复制操作物化;计时总量需还原到单次调用;向量空间运算需满足对象条件;欧氏距离是差向量的范数;高维检索需结合稀疏性选方法;点积只乘对应坐标后求和;余弦相似度去除向量长度影响;余弦计算应处理零向量和维数;余弦距离的范围取决于坐标;向量正交不等于命题语义无关;相似度数值不是语义百分比;查询必须沿用拟合后的词表;词组计数要区分位置和可能类型;字符词组可捕捉拼写与语言线索;字符分析器仍有独立配置边界;字符频率可辅助检查替换密码;齐普夫规律是近似幂律;文档频率每篇至多计一次;逆文档频率强调区分而非真理;信息惊异度不同于分布熵;同一词的逆文档频率跨文档共享;平滑公式应完整保存;对数压缩频率比不使分布均匀;词频加权有多种独立约定;全量取对数不同于次线性词频;检索排序只衡量约定的相关性;归一化向量点积就是余弦相似度;最大分数索引需核对行访问;倒排索引缩小需评分的候选;长度归一与词频饱和可以分开;检索式问答把问题映射到答案;问答检索需要拒答与分数检查;局部词面匹配可能选错问题意图;取最高若干项后仍需反向排序;检索答案正确性需要独立评价;词项检索由拟合与查询两路组成;问答匹配需要显式处理未命中。
原书依据 · 47 处
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
从词数到语义分析
本章尝试从词项统计提取较紧凑的语义表示。词干与词形还原不能解决全部同义、多义问题,主题坐标则把多个词项的贡献组合在一起。手工宠物、动物与城市权重只是线性变换的思想实验;自动模型利用共现结构学习表示,共现既可能连接同义词,也可能连接反义词,并不等于理解全部句义。线性判别分析与潜在狄利克雷分配共用LDA缩写,但前者监督分类,后者无监督主题混合,必须分清。
毒性评论案例先以两类质心差作简单分类方向,再用线性判别器展示训练与测试的差异。点积评分不自动是单位方向投影,MinMax缩放也不把分数变成概率。99.9%训练准确率不能替代泛化;类别不均衡时全判负类已有约87%,应同时读混淆矩阵、精确率、召回率和误差成本。原书后续表把精确率与召回率对调,相关数字需回到计数核算。
降维可降低存储与部分估计成本,也会舍弃信息。PCA以中心化方差选择正交方向,轴符号可翻转;统计独立不能由几何正交推出。SVD把矩阵分成方向、奇异值与坐标,截断保留主要低秩结构。对文档×词项矩阵,新文档乘右奇异方向得到低维坐标,components_存的是方向的转置。LSA通常不中心化以保留稀疏计算条件,与PCA有关键差别;降维后的向量也不自动保持单位范数。
LSA主题未必对应直观名称,负权重也不是反毒性标签。主题词展示要按实际特征编号对齐,随机求解参数不同于监督训练轮次。模型比较表应记录完整预处理、拟合边界和指标单位;本章先全量拟合再切分分类器的做法,只能当教学演示。选参数需验证集,最终测试应在整链锁定后进行。
潜在狄利克雷分配把一篇文档看成固定K个主题的比例混合,逐词先抽主题再抽词;Dirichlet控制比例先验,不抽取主题数。词项计数、主题词伪计数与归一化概率要分别解释,舍入为零也不代表严格零概率。主题数16到32的改善仅属当前案例,不证明方法普遍排名。随机投影与NMF还有不同保留目标和非负约束。
最后将主题表示用于距离计算、反馈与语义FAQ。余弦、角距离、倒数映射及RMSE并非相同公式,特定分数范数也不满足普通三角不等式。反馈可引导任务表示,简单质心平移只处理平均域差。稠密向量使传统稀疏倒排表难发挥作用,却不代表精确索引数学不可能;近似近邻要量化召回与成本,也没有通用12维失效界限。语义FAQ应沿用完整变换链,修正代码接口,并继续检查错配、归一化和拒答,成功一例不构成完整验收。
进一步阅读:词面归一化不能合并全部同义表达;同形词的语义须由语境区分;主题坐标是词项的加权组合;手工主题权重只展示变换机制;词主题与文档主题矩阵应分清;共现可提供分布语义线索;两种分析共用缩写但任务不同;毒性标签是任务约定而非意图证明;词表大不自动排除朴素贝叶斯;质心差可作简单分类方向;点积得分不同于单位方向投影;缩放到零一不产生校准概率;训练高分仍要和独立样本比较;固定随机种子有明确的复现边界;混淆矩阵需先标明行列含义;精确率与召回率分母不同;不均衡分类先比较多数类基线;误报与漏报对应不同使用成本;调和平均不能取代业务取舍;线性与二次判别假设不同;降维目标依保留什么信息而定;正交坐标不保证随机变量独立;主成分按剩余方差依次选方向;主成分符号和重根方向可不唯一;奇异值分解需核对因子维数;截断分解近似保留主要矩阵结构;文档坐标与变换基各司其职;矩阵命名不能替代实际行列核验;潜在语义分析主题未必可命名;降维后向量不会自动保持单位范数;随机分解的迭代参数不是训练轮次;主题词标签按特征编号排列;主题正负号不能直接叫善恶方向;中心化按列均值而非整体均值;模型比较必须包含全部拟合步骤;记录指标时核对分项与提升单位;调参表不能把测试集变成训练反馈;随机投影和非负分解目标不同;主题混合模型区分比例与主题数;主题生成先抽主题再抽词;主题先验影响混合稀疏程度;主题分配通常以词项计数为输入;主题数是需要验证的超参数;主题词伪计数归一后才是概率;显示为零不等于主题概率为零;更多主题改善一个案例不构成定律;距离变换必须明确约定与定义域;误差范数与均方根差一个维度因子;分数范数并非满足全部范数公理;监督反馈可以改变表示关注方向;质心平移只能校正平均域偏移;稠密检索仍可精确但成本需评估;近似近邻需衡量召回成本取舍;穷举检索复杂度包含维数;语义问答需复用完整变换链;主题分类需分清无监督与监督两段;低秩表示由基与坐标共同组成。
原书依据 · 57 处
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
神经网络分部导言
第二部分从统计向量进入可学习的非线性表示,逐步组织神经网络、词嵌入、卷积和循环模型。它强调从词的出现到顺序模式的扩展,不代表传统方法没有非线性或神经方法不再需要设计判断。具体机制在5–8章取材,避免分部简介重复成卡。
神经网络基础
本章从单个神经元解释神经网络学习。人工单元以仿射加权和连接激活函数,偏置可用固定输入1表示。硬阈值产生线性决策边界,单层感知器不能在原输入上解决XOR;逻辑激活则与二类逻辑回归有相同前向形式。它是计算抽象,不等于真实生物细胞或已证实的大脑学习机制,更多层也不意味着任意任务都必可学会。
神经表示能在任务反馈下共同学习特征,但仍需选择数据、目标、架构与优化方法。词干和词形处理可能丢失信号,是否保留应通过受控比较;多项式组合的复杂度是真实代价,却不能用三变量交互物理上不可能的说法限制所有模型。可解释预测同样不自动构成因果识别。
姓名数据用于教学展示字符1到3元特征、聚合计数和二类标签。这里预测的是历史登记统计,不能据姓名推断现实个人的性别、代词或生理身份。同名多标签反映输入不足,选择多数标签只是在重定义任务。书中将测试多数标签映回二元索引、其他行留训练,可能导致同名跨集合;评估未见姓名应按姓名整体分组。未见词也不必然就是分布外样本,聚合年份地区还会隐藏分布变化。
实现上,Module初始化登记可训练层,forward描述计算;输入、标签和权重须保持行与形状对齐。use_idf=False关闭逆频率权重,默认向量归一仍可能保留。二元交叉熵惩罚自信错误,样本计数权重又改变目标总体及损失尺度。训练与测试使用不同损失实例是为携带各自权重,并非损失对象积累学习历史。
训练循环分清清梯度、前向与损失、反向求导、优化器更新。SGD对象不自动完成随机采样,本章代码每轮实际使用全训练集。学习率控制步长,动量利用近期方向;epoch与step应分别记录,训练日志的更新前后时点也要统一。加权损失与未加权按行准确率衡量不同对象,下降曲线不自动证明校准、可靠或可用于个人判断。
最后用损失地形说明优化。梯度提供局部信息,凸目标与多层非凸网络条件不同,局部极小并非唯一困难。随机抽样和小批可降低单步成本并引入噪声,但不会保证全局最优;16到64只是经验建议。需要检查验证表现、数据边界与实际错误成本,而非以更大网络或归零训练损失作为终点。
进一步阅读:表示学习仍需选择数据与目标;预处理有损与否要按任务比较;可解释关联不自动构成因果模型;多项式特征需按复杂度与目标选择;人工神经元是计算抽象;单层感知器只能线性划分输入;仿射加逻辑激活对应二类模型;逻辑函数斜率偏移与增益分开;词频神经输入仍要保持坐标契约;权重不是被放行的百分比;偏置允许不经过原点的阈值;硬阈值与平滑激活用途不同;前向示例要区分向量与标量;零一布尔类型仍需核对条件;标题长度只能成为数据中的线索;群体姓名统计不同于个人身份;同名多标签不能靠删记录消除;共指消解应结合文本证据;聚合维度决定保留的分布;新样本不必是分布外样本;字符特征复用局部拼写片段;关闭逆频率仍可能保留归一化;训练测试应按共享对象分组隔离;测试目标不能只保留容易的标签;大小写有用与否需要实测;稠密内存按实际形状计算;表格规则评分体现人为权重;框架接口差异不等于能力绝对边界;模块初始化与前向各有职责;二元交叉熵惩罚自信错误;样本权重改变损失代表的总体;损失对象状态不等于学习历史;反向传播与参数更新要分开;优化器只更新交给它的参数;学习率控制沿梯度移动的尺度;动量积累近期梯度方向;使用随机优化器也可能跑全批梯度;训练轮次与更新步数需分别记录;评价过程要区分参数更新前后;张量转数组需兼顾梯度设备形状;加权损失和未加权准确率衡量不同;梯度是局部方向而非全局路线;损失地形取决于模型和损失;随机梯度来自抽样估计;小批量大小按计算与统计共同选;训练目标低不等于现实错误低;训练循环包含四种不同动作;同一输入对象需要整体划分。
原书依据 · 48 处
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
用词嵌入推理
本章把词表示从文档主题推进到局部上下文训练。嵌入用紧凑数值概括语料中的规律,近邻可表达同类、搭配或其他联系,不全是同义词。向量相加与相减可生成类比候选,前提是词表覆盖、关系方向及评分约定明确;它不等于演绎证明或创造事实,脑网络和角色属性表只是帮助理解的比喻。
Word2Vec从文本自身构造预测目标。CBOW聚合周围词预测中心,skip-gram从一个词分别预测邻词;窗口半径、句界和频率过滤决定实际样本。softmax把logits转为总和1的分布,原书数值图第三项误写0.929,应约0.229。同一模型同一输入的分布不会随当前标签自行改变,示意图中两目标分别接近1不能同时成立。
从零训练示例依次处理语料、词表、窗口对、Dataset及模型。词表编号必须保存,字段all_tokens/tokens与moving_window/window需统一,列表展开会预先占内存,DataLoader不能事后使它流式。Embedding按编号取参数行,输出层再预测全词表logits,用交叉熵求梯度。示例还有加载器字典覆盖、输入目标变量反向等问题,理解时须以实际张量路径为准,不能将印刷代码当已运行验证。
预训练KeyedVectors便于查询,完整Word2Vec才保留继续训练状态。加载limit取决于文件顺序,静态词表也不自动覆盖全部旧词。领域训练可调整专业用法,但需足够语料与下游验证。历史size、init_sims和vocab接口需版本核对,向量归一化不等于删输出层,新增词也不一律要求从头训练。
GloVe与fastText提供不同机制。GloVe用全局共现的加权误差拟合词与上下文向量,官方实现仍以梯度更新,并非SVD直接求全局最优。fastText用重叠字符片段组合词表示,支持部分未登录词,但仅有整词.vec表通常不含这项完整能力。静态词向量合并不同语境,上下文化表示则在固定参数下依当前上下文重算;二者都不能把相似度当完整词义或现实属性判定。
应用部分以城市词向量和句子关系图展示探索。城市与州组合需保留行标签,PCA不自动单位归一,二维语义图也不是地理或文化测量。句子词向量均值丢词序,抽取正文、选名词短语、处理零向量与筛边均会改变覆盖。成对亲和矩阵需平方存储,严格上三角排除自边,边两端标签要一致。力导向布局是另一次变换,不能把其位置当原空间精确距离。语料偏差会进入向量,减去某个属性方向也不保证去除下游偏差。
进一步阅读:嵌入是学得的表示而非完整词义;语义检索仍在估计用户意图;近邻不等于词典同义词;向量组合产生候选而非新事实;类比偏移要求固定关系与方向;变形差向量只在部分规律上近似;词表覆盖限制静态类比答案;共现目标从文本自身构造监督;局部窗口改变语义学习范围;静态坐标不天然对应可命名属性;两种词向量目标方向相反;上下文输入与目标名称须固定;平滑最大值归一产生分布;概率示例应同时检查数值与总和;同一输入输出同一模型分布;预分词文本仍需明确句段边界;词表编号需确定且随模型保存;窗口宽度要区分半径与总长;中间列名必须按流水线契约一致;加载器不能消除预先物化的内存;多数据集加载器应累积而非覆盖;嵌入查表避免显式建立独热向量;全词表预测成本随词表扩大;训练损失接口必须匹配输出形式;上下文反向训练需看样本是否对称;预训练向量只存查询所需状态;限制加载数量需检查文件排序;向量相似度不等于距离;离群词判断依赖集合平均方向;领域适配需比较覆盖与样本质量;训练参数分别控制覆盖与上下文;归一化向量不等于删除训练输出层;词表更新取决于保存状态与接口;全局共现训练不等于奇异值分解;语言模型包名不保证静态向量来源;子词嵌入按字符片段组合词表示;词内子串不同于词素切分;词向量文本表不含完整子词模型;稠密存储仍有实际类型和副本成本;单词与短语必须采用同一词表规则;静态向量合并同词的不同用法;上下文化表示随当前输入计算;词向量偏差反映语料与目标;减去属性方向不保证消除偏差;城市语义图不是地理测量;组合城市与州名要保留行映射;主成分可视化不会自动归一向量;词向量均值是一种丢词序基线;抽取网页正文先区分响应与文本;句子标签不等于完整句义;句向量归一需处理零范数;亲和矩阵的代价随句数平方增长;阈值建图应保留节点筛选语义;边的两端标签都需要一致维护;布局距离不是原向量距离;符号嵌入依赖出现环境和粒度;词嵌入训练与查询有不同产物;句子关系图经过多次信息取舍。
原书依据 · 58 处
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
卷积网络识别文本模式
本章用局部共享权重连接词序模式与文本分类。卷积核在窗口上加权求和,CNN通常实现不翻核的互相关,而非皮尔逊系数。共享核主要带来位置等变,配合全局池化减少位置依赖,不天然适应任意尺度变化。局部响应序列仍随输入及核配置改变长度,固定宽度向量来自后续汇聚;参数更少或运算更简单也不证明对所有任务优于Transformer。
手工词性例帮助核对窗口、通道与输出。二元副词均值核在连续两个1处为1,三位置多通道核在完整模式处为3,部分匹配仍有响应。序列必须按出现位置保留,不能以词字符串作字典键而丢重复。输入轴为批次、通道、长度;卷积参数最前轴则是输出滤波器数,不是样本。Embedding输出需要换轴,才能沿词序而非嵌入坐标滑动。
摩尔斯信号例展示固定时长的低高低模板及边界处理。采样率改变必须同步时间索引,4000Hz每10点取1点得到400Hz,每点2.5毫秒。负权重抑制长高电平,归一或平移响应不产生校准概率。valid、same、full和先输出补零有不同含义;找到一个短脉冲还不是完成字符和词的解码。
灾害推文模型由词表、填充、嵌入、多核宽卷积、池化、可选dropout与线性输出组成。它预测语料标注的灾害相关类别,不验证事件真实性。卷积可处理变长,全局汇聚也可定长,批内填充与截断是实现选择;截断和删除未知项都会丢信息或改变相邻关系。PAD零向量也需考虑偏置与池化影响。
预训练嵌入要按本地编号及PAD行对齐,冻结和微调有不同容量与覆盖条件。模型核应正式注册:本章普通列表若无别处登记,会使parameters、state_dict和设备迁移漏掉卷积层;训练日志只能说明整条链有学习,不能证明每个核都在更新。参数清单应直接按名称遍历,尺寸公式则按真实步长、填充和膨胀逐层重算。
训练曲线展示继续拟合可能扩大差距,dropout可作正则却不保证对抗稳健,RMSprop跟踪平方梯度而非权重均值。调参还包括种子选择,多次观察的测试分数应改作验证使用,最终另留测试。课堂数字、幸运初始化和未经统一评测的人类比较,都不能成为一般效果保证。
进一步阅读:局部卷积利用词序与共享模式;卷积共享带来平移等变性;卷积响应是局部加权和;互相关不同于皮尔逊系数;核翻转决定卷积与互相关区别;卷积序列长度随配置变化;最大池化保留强响应而丢位置;平均与求和池化保留不同量;词性模板只在指定标签规则下匹配;按位置保存词元才能保留重复;步长加大会遗漏局部起点;滑动均值检测需说明输入条件;卷积核参数轴不是样本轴;卷积会在输入通道上求和;词元嵌入进入卷积前需换轴;响应位置应对应窗口起点;采样率变化后时间轴必须更新;音频整流与降采样各有条件;点信号模板的时长由采样间隔决定;负权重抑制不该出现的高信号;输出补零不等于输入补零;卷积模式按核与输入长度定义;摩尔斯点检测尚未构成文本解码;卷积可处理变长但批处理需约定;填充不是天然无影响的词;去词与未知词处理会改变相邻关系;分类标签不等于现实事件真伪;截断长度应检查信息损失分布;嵌入维度不等于可命名意义数量;继续训练可能扩大泛化差距;参数清单应按名称直接遍历;子模块放普通列表会漏注册;预训练嵌入初始化必须按编号对齐;未知词零向量仍可在未冻结时学习;迁移嵌入需选择冻结或微调;丢弃层作用于训练中的激活;多核宽分支可以并行汇聚;输出长度公式须保留取整位置;改变池化范围需要重算输出尺寸;线性输出层按目标决定宽度和损失;参数量减少不保证泛化改善;平方梯度平均用于自适应步长;挑选幸运种子也会消耗验证信息;调参表需要同目标同协议比较;可训练滤波器与固定滤波器需区分;文本卷积各层沿不同轴工作;卷积实现应验证计算与更新两条链。
原书依据 · 47 处
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
循环网络与长短期记忆
本章引入随序列更新的隐藏状态。RNN用同一转移规则结合当前输入和旧状态,能逐步处理与生成序列,无需Python函数递归。状态是当前样本的激活,参数是时间步间共享且由训练更新的权重;有限状态仅保留学到的摘要,不会无损记住无限历史。单向与双向取决于未来上下文是否可用,计算顺序也不意味着已识别现实因果。
教学手写模型用两个Linear分别计算新状态和分类支路,隐藏转移没有tanh等非线性,需与一般非线性RNN区别。时间展开显示共享权重的多次使用,而非为每个词建立新参数。多对一、逐词标注和条件生成各需合适输出与损失位置,变长能力也不免除批次、时序和内存管理。
姓氏案例用于展示字符处理、标签歧义和序列分类。类别混合国家、地区及语言来源,不能作为现实个人国籍或族群真值,ASCII化又会丢失语言信息。同名多来源与重复记录需要明确任务、采样及分组划分;均衡数据不保证同样准确,替换名字也不构成完整匿名化。语料重叠统计不是模型验证混淆,更不能因任务困难取消验证或按少数例子宣称超过专家。
训练时初始化样本状态,逐词前向,在指定位置计算损失,再沿计算图反传并更新共享参数。LogSoftmax的负对数概率与NLLLoss符号不同,predict_proba若直接返回y仍不是概率。前缀检查和隐藏维相关可辅助调试,但不是完整归因;显示格式也不同于实际舍入。多标签任务需要连同标签、损失、阈值与指标一起调整,不能只换激活。
时间反传累加共享参数在各位置的梯度,长链可能使梯度消失或爆炸。跨批保留状态只适合连续数据流,批量化须保留每条流的顺序,随机打乱独立文本时应重置。初始h与初始权重又是两种不同对象,固定种子并不保证可解释坐标或全局最优。
GRU用重置门影响候选,并用更新门混合候选和旧h。LSTM另有c状态,以遗忘保留加输入写入形成新c,再经输出门和tanh形成h。标准单元不是将两种公式全部叠加,原文部分符号需纠正;更多门也不按固定倍数等价普通神经元。是否更快更准应按真实参数、预算与验证比较,层间dropout的生效条件同样需核对。
最后用词级语言模型连接词表、分批与生成。WikiText的UNK是词表外替换,非随机遮词标签,换raw版本会改变协议。低温采样偏向高概率却可能重复,出现训练材料片段不证明模型存储全部文本。恢复权重时还需恢复架构、词表和类定义,才能让数字继续对应正确词项。
进一步阅读:循环状态与函数递归是不同机制;隐藏状态是激活而非模型权重;有限状态不保证记住全部历史;序列输入输出要按任务组织;逐步生成是将预测再用作输入;循环摘要有时序不等于因果识别;线性循环示例缺少隐藏非线性;输出支路读取哪个状态要看计算图;时间展开共享参数而非复制新参数;双向编码只适合未来输入可用场景;变长序列仍有批量与计算成本;去除字符差异会损失语言信息;姓氏语料类别不同于个人国籍;语料标签重叠需先澄清分类目标;重复记录与过采样不能无条件等同;类别均衡不保证每类同样准确;姓名替换属于假名化而非匿名保证;数据歧义可用独立统计诊断;词表与输出类别映射应随模型保存;独立样本状态通常应重新初始化;末步损失会经过全部相关时间步;单样本更新不等于一个训练轮次;数据歧义不构成取消验证的理由;对数概率与负对数损失符号相反;模型概率不是个人身份置信证明;预测接口名称应符合实际返回值;前缀重算增加观察与计算成本;隐藏激活相关不证明神经元职责;显示精度与修改数值分开;互斥多类与多标签目标不同;多标签改造还要改损失和评价;时间反传按共享使用位置累计梯度;长时间链会消失或放大梯度;循环并行主要沿批次而非任意时间;状态延续只在序列关系有效时使用;批量化必须保留各流的连续顺序;初始状态与初始参数分别管理;重置门控制候选中的旧状态贡献;更新门混合新候选与旧状态;门控单元不按固定倍数衡量容量;细胞状态分开保留与写入路径;门控公式应逐项核对状态对象;循环层输出还需按任务接预测头;参数统计只是容量判断的一部分;循环层丢弃设置要看层数与位置;未知词标记不等于随机掩码任务;特殊词元属于建模协议;低温采样偏向高概率而可能重复;重载权重需要同时恢复架构与词表;循环计算与训练更新分属两种时间;两类门控以不同状态路径保留信息。
原书依据 · 51 处
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
现实应用分部导言
第三部分将前面的表示和模型用于信息抽取、知识接入与对话,并讨论规模和系统组合。实体或日期抽取为任务提供结构线索,不能单独保证系统不编造。规模超出内存时需相应数据处理设计,细节将在应用章节和附录中实际展开。
可堆叠的Transformer
本章将前面词嵌入与序列建模连接到Transformer。常见块保持长度与隐藏宽度,便于残差和堆叠,但并不是无限容量或所有层同时计算。训练给定序列时可以并行处理多个位置,生成仍按已选前缀逐词进行;自回归控制不使其变成循环或递归神经网络。BPE也只是输入方案之一,并非Transformer的必备结构。
注意力用Q、K、V投影、缩放点积、softmax与值聚合形成输入相关的混合。它不是固定线性层、保范数旋转或全部语义的证明。多头提供不同投影子空间,位置编码提供顺序线索,前馈、残差和LayerNorm又有各自作用。位置向量通常相加,LayerNorm不把值约束在0到1;原始解码器第三子层是交叉注意,因果遮罩另管目标未来可见性。
翻译案例需要把数据、语言方向、分词、首尾标记、张量轴与三类mask组织一致。原书在Multi30k与OPUS、英德方向、旧Field与新tokenizers接口之间混用,不能视为整段可直接运行。定制decoder还缺必要参数且变量未定义,保存的权重实际来自源目标交叉注意而非自注意。核心nn.Transformer之外需补嵌入、位置编码和词表头,前向通过只检查一部分机械路径。
训练将目标输入和标签错开一位,用mask防止读取未来,并让PAD标签不计入损失。评价模式和no_grad控制不同;平均批损失的权重口径影响困惑度,exp(−平均损失)是目标概率几何平均,不是token准确率。按验证选最佳检查点后再独立测试,生成则复用源编码、逐步扩展目标,只有真实EOS才可删去末项。多参考译法、BLEU协议和注意力图解释仍需分别核对。
BERT采用双向上下文编码,用MLM和原NSP目标预训练。输入由词、位置和句段嵌入相加,15%目标位置再按80/10/10替换;没有实际换MASK的所选位置也仍计分。双向说的是可见上下文,不是特殊反传。下游任务需匹配输出头和数据,vanilla BERT表示也不天然是所有句检索的最佳选择。
毒性评论示例是六标签微调,允许多个标签或全零。需固定列名、标签顺序、分词和划分,保留原文,比较清理、长度与训练预算的影响。ROC-AUC度量TPR–FPR曲线与排序,既不是PR面积也不是准确率或概率误差;名为acc的输出仍需检查真实回调和聚合。早停监控的指标、方向和评估频率要明确,最后用独立数据评价。书末将毒性AUC与翻译能力混用,应拆开理解,不据一项高分外推全部语言能力。
进一步阅读:自回归生成不同于循环层结构;训练位置可并行但层间仍依赖;子词方案不是架构必备条件;一致层形状便于组合而非无限容量;填充不必到模型最大窗口;注意力权重是输入相关混合;点积缩放按键宽而非序列长;自注意与交叉注意的两端不同;多头并行形成不同表示子空间;位置编码为顺序提供额外线索;正弦位置编码按维度使用多频率;位置缓冲区与批次轴要匹配;前馈与残差归一保留不同职责;解码器第三子层是交叉注意力;源目标分词可独立也可共享;训练数据方向与示例必须一致;切分数量应核对实际比例;字节覆盖不等于通用语义覆盖;特殊符号需要显式加入序列;文本编码接口要核对返回对象;定制层需保持调用签名兼容;保留注意力时要确认捕获的种类;核心变换模块之外还需输入输出层;形状核验应分别检查三种遮罩;布尔遮罩真假含义依接口;源填充遮罩也要传到解码交叉层;初始化须保留预训练参数;随机输入前向只证明形状路径可通;教师强制输入与标签相差一位;损失忽略填充与注意力屏蔽不同;训练模式与禁止求导独立控制;平均批损失未必等于平均词元损失;指数负平均损失不是准确率;选择最佳检查点需要独立最终测试;推断只编码源一次再逐步扩展目标;生成结束原因决定能否删除末项;多种正确译文限制单参考评价;注意力图提供诊断而非完整归因;注意力图标签需与实际对象对齐;双语分数比较要固定分词与测试集;双向掩码训练不是双向反传特例;三种嵌入相加组成输入表示;掩码位置选择与替换方式分两层;句间预测与掩码恢复目标不同;预训练骨架须接适合任务的输出头;模型大小与大小写版本各有条件;基础编码向量不必最适合句检索;预处理与任务标签需要原文对照;多标签按固定宽度多热向量组织;独立测试不应并回训练池随意重用;多标签评估需报告每类与总体;曲线下面积与准确率不同;排名指标不自动惩罚概率失准;指标键名不决定真实计算方法;输入清理需要受控比较收益;序列上限应权衡截断与资源;早停需要明确指标方向与频率;最佳制品与续训状态要分开保存;框架默认参数应按所用版本核对;竞争成绩不能证明另一任务能力;可堆叠结构仍需端到端验收;翻译训练与生成使用不同目标前缀;多标签微调从制品到指标逐层核对。
原书依据 · 63 处
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
真实世界中的大语言模型
本章把语言模型放入真实应用,主线是区分流畅生成与可靠回答,再用路由、护栏、微调和检索补齐系统能力。作者对模型智能、企业动机和规模收益作了大量立场鲜明的判断,不能当作由本章实验普遍证实的结论。可保留的工程教训是:对实际任务、模型、数据、评分和错误类型分别检查,不用少数展示或模型自我描述代替验收。
规模比较需先确认实验身份和分母。首次示例实际模型ID是openai-gpt,却被说明成GPT-2;模型参数、训练计算、运行内存和下载体积也不是同一指标。扩大规模可能有收益,也可能在某项测量上平坦,具体曲线不能推出所有能力永久不变。把示例放入提示属于上下文学习,通常不同于更新权重;模型许可也不会因换推理工具而消失。
语义路由把请求交给适合的模型或程序,护栏则针对越界、隐私、偏见、事实等不同问题采取规则或分类。spaCy示例显示token属性、模糊匹配、规则ID和跨度如何组合,但替换要保留边界与语境。过滤器同样会误报漏报,日志命中率不能直接表示真实漏检率;授权红队、独立样例和修复回归构成持续校验。
生成模型每步在可见前缀下输出下一token的logits,再按策略选择并扩展前缀。logits不是概率,也不是softmax的唯一逆。贪心只作局部最优,束搜索保留有限候选,核采样以累计概率至少达到p截断。它们影响重复和多样性,却不提供事实。流式体验还需预算、停止、缓存及正确token边界,而不是反复拼接字符串无上限重算。
用书稿继续训练让模型适应领域文本,区别于输入指令与期望输出的指令微调。文本过滤、近重复划分、attention_mask、标签整理与EOS监督都需要核查;collator不会自行改变模型注意力。Trainer接收验证集也不意味着已按期评估,生成更像书稿的句式更不等于事实已可靠记忆。
检索把外部可查资料引入当前问题。倒排索引和字符三元组解决部分字面候选问题,语义嵌入补充不同措辞,但查询文档必须遵循兼容表示契约。召回率是相关项中找回的比例,分块通常使候选数按规则增长而非指数膨胀。ANN以预算和召回作交换,树、图和量化各有条件;图索引不保证比Flat更省内存,复合索引必须与简单精确基线对照。
Haystack案例把文档存储、索引、检索器与回答模块连接。抽取式Reader找跨度,生成式模块组织文本,两者都可能误解问题或缺乏证据。本章截图将VADER作者答成情感分析发明者,恰说明摘自原文仍需核对问题范围。一次不知道或一项高分不能证明整个应用可靠。保存部署需原文映射、向量、配置和模型一致,界面显示来源并处理空结果,Streamlit资源缓存则要考虑参数键、共享和重跑。最终以实际领域测试与危害治理验收,不把相对偏好排名当通用智能百分比。
进一步阅读:流畅输出仍需独立事实核验;规模比较先固定任务与评测口径;比例结论要检查分母和筛选条件;少样本提示不自动更新权重;评估样例必须记录真实模型身份;资源估算区分权重与运行状态;本地推理工具不改写模型许可;访问凭据读取后避免展示留存;生成预算按词元而非单词控制;流式显示需要保留生成状态;答案和解释必须分别验证;语义路由将请求交给适合能力;护栏应区分内容类别与事实错误;护栏统计不能替代真实漏检评估;检查护栏内部实际调用了什么;词元属性规则可组合模糊匹配;匹配身份与位置承担不同职责;规则改写应保留边界与语境;红队授权范围与修复回归相连;自回归分布以整个可见前缀为条件;未归一分数不是概率的唯一逆;下一词分布来自最后可见位置;贪心解码不等于随机采样;束搜索保留有限候选而非全局保证;核采样按累计概率达到阈值截断;解码参数改变风格不保证真实性;领域继续预训练不同于指令微调;文本过滤影响模型学到的格式;语料切分要防同源近重复泄漏;训练样本应保留必要遮罩信息;整理标签不负责改变模型可见性;填充与结束共用标识会影响监督;提供验证集不代表训练会自动评估;领域风格迁移不等于事实已入库;检索把可查资料引入当前回答;倒排索引加速候选定位非全程常数;字符三元组提供拼写近似线索;语义检索弥补词面不重合;召回率是相关项被找到的比例;对话记忆依赖外部状态组织;分块粒度同时影响证据与成本;查询与文档须使用兼容表示契约;近似检索以搜索预算交换召回;精确检索仍有条件适用空间;树索引以空间划分缩小搜索范围;分层近邻图逐级细化候选;图索引提速不意味着更省内存;存储类型上限与索引上限须分开;定点量化要同时检查范围和误差;乘积量化用子空间码本压缩向量;复合索引收益依整条配置链;检索器与阅读器解决不同子问题;向量索引与原文映射需要一起保存;候选数量在检索与回答层分别配置;抽取文本仍要检查问题前提;生成式问答要检索后检查支持关系;一次拒答成功不证明全面不编造;本地部署仍需核对全部数据流;脚本重跑需要控制昂贵资源加载;资源缓存不等于序列化数据副本;回答界面要处理空结果与来源;模型偏好排名不是通用智能百分比;解释性需要与真实决策过程对应;危害治理要把现状和远期都具体化;生成过程由分布与选择循环组成;检索问答把查找与回答分工。
原书依据 · 66 处
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
信息抽取与知识图谱
本章将文本转为可查询主张,依次讨论分句、实体识别、共指、句法、关系抽取和知识库查询。图谱显式组织实体与关系,便于展示路径和来源,但结构化不是事实保证。作者把知识图谱视为真实智能及可靠核查的必要条件,论证过强;实际应检查资料、抽取、规则和最终回答的每一层。
分句先要识别文本形态。缩写、小数和引语使简单标点切分不可靠,源码中的代码和正文又需分别处理。正则确定性不等于语义100%正确,也不保证任意回溯模式都快速。完整spaCy解析、独立senter和规则方案各有代价;禁用和排除不同,比较两算法一致率也不是金标准准确率。热图可显示重复格式或异常文本,不能绕过原文检查。
实体识别需要边界、类型与上下文,POS并非其必要前置输出。日期、数字和GPS可用规则形成候选,但本章经纬度正则没有真正限制合法值域,捕获字符串也不会自动补零或转换。较大模型修正例中人名不代表普遍更好,逐词表与稳定位置有助定位漏识别和错分类。
共指把姓名、代词及描述连接为同一实体的多处提及,跨文档身份仍需消歧。链输出要逐一回读,本例it连到advice并不符合修改paper的主要语境。显示token索引有助审计,环境隔离和模型兼容又是运行前提。实体规范化要区分可读别名与稳定标识,变规则后需迁移引用,不能靠删除命名空间或标点保证身份唯一。
依存树提供词间语法联系,成分树提供嵌套短语,两者并不直接给出真事实。被动句语法主语可以是承受者,施事未说就不能补全。简单主谓宾和宽松token模式只覆盖部分表达,多重或重叠匹配需要明确处理。自举扩展近义关系存在语义漂移,神经抽取同样依标签、实体与证据范围;封闭关系集不保证正确,跨句关系要有对应数据与评价。
知识库应保留主张、来源、时间及置信含义。多跳查询连接已有事实与类型,推理则依有效规则;图与关系表均能表达这类结构,选择主要是接口和负载取舍。公开知识库有缺失与冲突,无结果不能直接判假。NELL简名用于显示须保留原ID,Wikidata实体与属性查询则要处理缺失、投影、语言标签和限定词。
最后的SPARQL例子用作品连接作者,可在一条查询中共享变量完成,不必每步取第一个结果。直接wdt关系省略完整限定与引用,作者属性也可能未录齐;结果只能在数据覆盖内解释。模型生成查询仍需检查语法、身份、条件和结果是否回答原问题,并限制运行资源。可查结构与原文证据结合,才使系统更易核验,而不是自动免于误解。
进一步阅读:图谱将实体与关系显式组织;依据约束回答仍需核实资料;符号推理依规则和前提有效性;语言生成与知识查询可以分工;句子边界不等同于标点位置;字符串分隔符不表示字符集合;正则确定匹配不等于语义正确;字符类中的美元不是串尾锚点;小数保护规则仍有输入边界;断句方案要共同测速度与准确性;禁用和排除组件影响恢复方式;统计断句与规则断句是不同组件;两算法一致率不是准确率;格式标签错误会污染语义分析;相似矩阵应排除自比并核对尺度;热图模式提供线索不直接判真;抽取行动参数需结合交互语境;实体识别先确定跨度再定类型;命名实体不是所有名词的集合;规则实体抽取要分语法与值域;解析输出的文本和类型应如实保存;实体模型架构应查看实际配置;实体标签与词性不必串行依赖;细词性与粗词性服务不同粒度;逐词审计表有助定位抽取错误;模型变大仍需按目标样本验证;共指消解连接提及而非只去同名;代词先行与后指都会造成歧义;共指链输出需要逐项回读原句;共指可视化必须保持词元位置;依赖冲突应隔离版本组合;实体规范化不能抹掉身份区别;规范化规则变更需要迁移旧记录;依存树连接词语而非直接给事实;语法主语与事件施事要区分;直接子节点和完整子树范围不同;成分树与依存树关注不同结构;三元组是主张的表示并非真值保证;关系抽取需处理不止简单主谓宾;词元模式与短语匹配器用途不同;宽松词元规则会引入重叠候选;示例扩展需防关系含义漂移;封闭关系标签不保证抽取真实;实体感知为关系模型提供线索;文档级关系需要跨句证据;多跳回答依明确路径和类型约束;表存储也能表达和查询图关系;关系标识与别名应统一管理;简化显示名不能作为不可逆主键;知识条目要保留来源与置信语义;图谱缺失不能直接证明事实为假;图查询语言各有模型与接口;知识库ID解析需要处理无结果;查询投影与返回标签须显式一致;直接属性查询可能省略限定条件;多步查询可通过共享变量连接;查询结果不是完整作者名单保证;自然语言转查询需验语义与边界;知识抽取由多个可错环节协作。
原书依据 · 59 处
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
对话引擎与会话设计
全书最后一章把前面的NLP组件组合成对话系统。起点是用户的目标、角色和使用情境,而不是先选生成模型。先写理想对话,再把步骤组织成可执行状态与触发,补上回退、退出和返回。设备账号可能由不同人共享,意图识别、槽位参数和真实授权事件也应分开;合作原则、清晰选项和适度确认帮助用户发现误解,但不能替代动作验证。
NLU把用户措辞转成意图和实体候选。最高分过低和前两名接近是两种不确定情形,需适合的拒识或澄清。槽位定义任务所需角色,NER找到的人名不一定相关。大小写与标点提供信号,抽取代码应核对筛选方向;context_diff只表示增量,覆盖及撤销规则仍需定义。多标签允许答案与情绪同时出现,但分数不是执行决策,也不能消除mean等词的语境歧义。
回复可来自模板、检索、程序或生成,并由对话管理选择。对话图可以有环,节点定义与用户运行上下文不同;关系表足以保存常见状态和转移,不必先引入图数据库。日志需能还原决策,JSON扩展字段仍有语义与迁移约束。程序化生成题目有利于复用规则,但题干、答案和默认参数必须一致,多语言流程也需管理对应关系。
Rasa案例把意图样例、domain、处理管线和stories分开,展示可配置系统的职责划分,不代表一条顺利故事已经覆盖全部用户。LangChain案例演示模板和记忆如何连接模型,也暴露参数名、类与实例、单轮停止和会话隔离问题。模型自己补出Parent同意不能当作真实授权;它夸奖错误数学答案也不能算评分成功。关键状态和计算可由可验证逻辑控制,生成用于受限表达仍需防改义。
系统上线后,以日志发现用户痛点,再修意图数据或流程,并用独立集合回归。低置信样本可帮助发现缺口,却漏掉高置信错判;频次也需和错误影响一起看。分类F1、问答EM与词元F1比较的对象不同,技术正确、体验和实际影响更是三个层次。HEART提供目标到指标的方向,采用、参与、留存、满意和任务成功不必等权;更多聊天、完课或功能使用都不能独自证明体验、掌握或因果收益。
语音助手在文本系统前后加入识别和合成,还需处理唤醒、轮流发言、打断和延迟。WER评估识别转写而非TTS,书中模型表不能当当前通用排名。最终的工程目标是帮助用户完成具体任务,并能从错误中持续改进;自然的声音、友好的措辞和高参与度都不能替代正确的状态与可核验结果。
进一步阅读:对话设计先确定用户要完成什么;设备使用者不一定是服务对象;理想对话只是设计起点;对话状态与触发边各有职责;脚本转图需明确自动与默认转移;循环要提供退出与帮助路径;合作原则约束回答的信息组织;界面提示降低记忆负担;回退回复需要给出下一步;确认要显出系统理解的关键参数;按钮与自由输入需按任务配合;意图类别用于决定后续处理;拒识阈值和歧义阈值不同;实体是文本提及而槽位是任务参数;大小写和标点是可用输入信号;抽取条件应符合参数的正向含义;上下文增量更新需定义覆盖规则;一条消息可以同时有多个意图;歧义词不能仅按负面分数处理;回复来源有不同的控制粒度;对话图可有环而树只是特例;状态节点不等于全部运行上下文;对话上下文不是语言上下文管理器;关系表足以表达常见状态转移;消息日志要记录可重建的上下文;灵活字段也需要语义与版本约定;检索扩展内容不免除资料维护;程序化题目应统一题干与标准答案;函数默认参数需要可执行返回语义;多语言内容要管理对应关系;生成表达应受任务与证据约束;重采样要有预算和有效验收器;知识库没有收录不等于事实错误;局部生成可辅助表达而非替代裁决;框架抽象仍需核对版本与执行约定;意图样例和会话策略是两类数据;特征与联合分类器需按契约组合;训练样例要覆盖表达差异与反例;模型服务版本标识不等于代码提交;提示模板变量必须与调用接口对齐;历史记忆需要会话隔离与容量管理;模型代写用户话不是真实输入;数学判分要核对学生值和目标值;重复试验要记录模型和请求条件;低置信样本只是错误发现入口之一;频次优先还要考虑错误影响;分类评估应看各标签及聚合方式;问答字面匹配与语义正确各有边界;分类与词元F1的对象不同;产品评价需分能力体验和影响;使用时长不天然表示体验良好;采用率需要明确有效使用定义;功能采用不能单独证明因果收益;学习完成不等于知识已经掌握;漏斗定位流失后还需解释原因;满意与留存要按任务解释;语音前后端会引入额外误差;词错误率用于识别而非语音合成;唤醒与轮流发言是额外交互机制;对话运行把理解决策和表达分工;日志到改进需连接标注与回归。
原书依据 · 61 处
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
附录A:NLP工具
附录A提供全书工具和环境入口。重点是把源码、解释器、Python依赖、系统依赖及模型数据分别确认。虚拟环境便于隔离,可编辑安装便于开发,但范围约束不等于完整锁定,交付仍需保存实际版本。REPL帮助核查真实接口,容器则需镜像、挂载和运行参数共同定义环境与持久数据。书中软件推荐、系统立场和过时安装脚本不应直接套用到当前机器;自动下载也应在执行前识别。
进一步阅读:环境隔离要对应实际运行解释器;可编辑安装关联源码而非固定制品;版本范围不等于精确锁定;包管理器负责的依赖层次不同;安装说明须匹配系统与版本;交互检查有助找到真实接口;挂载目录决定容器数据保留位置;镜像与运行参数共同定义环境;按需求加载模型避免隐式下载。
附录B:Python与正则表达式
附录B介绍通过REPL探索Python,以及文本、字节、映射和正则的基本接口。可保留的学习方法是小步试验、查看真实对象并整理可复现代码,而不是把复制演示当理解。文本编码、字典顺序与正则选择、捕获、字符类各有明确协议;书中若干Python3说明和分组输出已过时或写错,使用时需依据实际版本核对。
进一步阅读:交互试验要形成可复现片段;帮助与源码反映当前对象版本;文本与字节需明确编码边界;字典插入顺序与排序是两件事;正则匹配集合可以是无限的;标准正则与第三方扩展需区分;选择分支按尝试顺序匹配;完整匹配和捕获组编号不同;命名捕获使用明确的组协议;字符类受统一码规则影响;原始字符串减少一层转义混淆。
附录C:向量与线性代数
附录C补充向量、距离、矩阵和张量。核心是把坐标含义、shape与dtype同时明确,再选择范数、相似度或线性变换。向量差是逐维量,L1与L2采用不同汇总,余弦在单位化后可转成点积,但零向量和取值范围要处理。矩阵乘按内轴匹配,逐元素运算又有广播,二维dot与matmul相同不保证高维相同。转置、变换组合和置换都有轴与次序约定,平移需要仿射或齐次表示。最后的模型FLOPs及框架互转不能靠简单类比套用,需按真实架构、缓存和设备核对。
进一步阅读:向量坐标需要固定含义与顺序;数组形状与数据类型共同约束计算;单位化前先处理零范数;向量差保留逐维方向信息;距离度量需要明确绝对值和归约;余弦比方向而点积兼受模长影响;单位向量欧氏距离与余弦相关;点积按对应坐标乘后求和;矩阵乘法按内轴匹配外轴输出;逐元素乘法与矩阵乘法不同;一维转置不会自动增加行列轴;点积与批矩阵乘的高维规则不同;线性变换与平移需区分表示;置换矩阵的左右乘作用不同;变换组合的次序通常不可交换;计算量要分预填充与逐词解码;张量互转要核对设备类型和梯度。
附录D:机器学习工具与技术
附录D将全书方法放回机器学习流程:先定义任务与影响,再准备数据、训练、选择和评价。统计预测不等于因果理解,自监督有由数据构造的目标,公平也需具体群体与错误标准。训练、验证和测试的角色由实际使用决定,随机打乱不是全部数据的通用做法,交叉验证也应在折内重训整个预处理流程。
不平衡训练先与多数类基线及错误代价比较,再考虑过采样、欠采样和增强。复制不增加独立信息,增强需保标签,合成和主动学习都需检查覆盖及高置信错误。超参包含预处理,搜索算法没有固定优劣排序;小样本筛选后还需验证规模效应。
评价必须从计数和口径开始。书中二分类数组得到TP4、TN2、FP1、FN3,精确率0.8、召回4/7、F1为2/3、准确率0.6,若干打印与文字交换了位置。RMSE和R²用于不同问题,R²不等于普遍的相关系数平方。最终部署应保存独立验收,管线和降维只是组织工具,不替代目标及泄漏检查。
进一步阅读:学习预测关系不等于识别因果;监督目标不一定全部由人工提供;数据选择与公平评价都需具体标准;过拟合要看独立数据上的差距;欠拟合也可能来自训练与表示限制;训练验证和测试的角色取决于使用;切分方式需符合未来使用关系;交叉验证每折重新训练完整流程;折间分数不自动给出显著性结论;类别不平衡要结合基线和错误代价;过采样重复数据不增加独立信息;欠采样减少成本也会丢覆盖;增强变换要保留目标语义;合成数据需检查覆盖与错误传播;主动学习需兼顾不确定性和覆盖;超参包括模型之外的预处理选择;搜索方法没有固定由差到好顺序;小样本调通后仍需验证规模变化;混淆矩阵必须标明真实预测轴;精确率和召回率要从正确计数计算;综合分数不能代替业务错误代价;阈值提高不保证精确率上升;回归误差和拟合优度回答不同问题;部署最终模型仍需保留独立验收;降维工具要与下游目标一致;管线把预处理和模型放在同一协议。
附录E:容器化微服务部署
附录E用多标签意图服务说明从模型到应用的部署路径。嵌入器和分类头可以分开,标签需要固定顺序,标注协议与真实评价决定输出含义。多标签不是概率和必须为一,展平再聚合也不保证保留权重;情绪分数不能直接充当用户满意度。
微服务可隔离依赖和资源,但同时增加调用、配置和维护成本。FastAPI请求响应模型只规定一部分协议,text与embedding的可用组合、维度及版本要另外检查。本章客户端发送content而服务期待text,处理函数又未真正支持embedding,不能把打印的200当完整验证;同步推理放在async入口仍需考虑阻塞。
容器将应用与依赖打包,构建、发布、获取和启动有不同作用。镜像身份、运行配置、挂载与端口共同决定实际行为,秘密不应随公开镜像分发。常驻模型、预测缓存与对象存储各优化不同成本,缓存版本要随模型更新,容量清理也需真正安排,而不是只定义一个函数。最终验收涵盖制品、编码、分类、缓存与HTTP契约,并核对轻量实现与原模型等价,而不是仅确认容器能启动。
进一步阅读:多标签输出不要求类别概率和为一;编码器和分类头可独立发布;标注协议明确标签边界与示例;多热编码必须保存类别顺序;情绪模型分数不是直接满意度;微服务拆分按变化与资源边界决定;端点数据契约需要语义校验;示例请求字段应与处理代码一致;异步入口不会自动并行同步推理;返回嵌入要保留契约与访问边界;拆出编码端点需衡量额外网络成本;容器镜像和运行配置分开管理;构建发布与启动是不同阶段;端口发布与绑定地址需要区分;预测缓存键需要包含模型身份;缓存容量与清理调度分别实现;缓存收益依重复率与存储开销;模型常驻内存需处理并发初始化;模型对象存储要记录不可变版本;轻量分类实现也要匹配原模型行为;服务验证要覆盖制品到响应全链;预测服务由接口制品和缓存协作。
附录F:术语表
术语表为前文缩写和概念提供检索入口,涵盖模型、检索、交互与张量等。它没有新的机制论证,已在相关正文章解释的内容不重复生卡。使用时需结合上下文消歧:ANN在本表指近似近邻,在神经网络语境也可能指人工神经网络;LDA条目把linear写成latent,BERT、API和GPU展开也有用词错误。LSTM的cell与unit不宜按这里的一标量简写外推整个实现,grounding更不只限一种检索数据库方式。
各章注释与来源
各章注释提供论文、项目、教程与书籍的检索路径,也补充少量解释。它们的作用是帮助回到机制来源,而不是替正文所有结论作背书。值得单独保留的是第10章束搜索图的路径评分说明:联合概率应按条件概率相乘,对数分数才相加,原注释直接加概率的算式有误。其余技术解释大多已并入对应章节,纯引用登记至概览,未打开的外链不当作本次已读资料。
进一步阅读:序列概率相乘而对数概率相加。
原书依据 · 1 处
跨章综合
第一条跨章联系是“表示决定比较对象”。第2章的词元边界决定第3章计数坐标,第4章压缩这些统计,第6章学习新的嵌入空间。第10章向量检索仍要遵守相同表示契约,附录C的shape和距离正是它的计算基础。换一个模型而保留旧索引,或只因两个向量同维就比较,都可能失去意义;相似度也始终只是某种表示下的接近。
第二条联系是“目标决定输出含义”。第5章二元损失、第8章多类与多标签、第9章右移目标和第10章继续预训练使用不同监督对象。softmax、独立sigmoid、对数分数、损失和AUC都不是可以互换的概率或准确率。附录D与第12章进一步要求写清正类、分母、阈值、规范化和聚合,才有可比较结果。
第三条联系是“证据与表达分工”。第3章FAQ匹配、第10章RAG、第11章图查询都可以向回答提供材料,却不保证材料相关或真实。抽取式答案也可能接受错误问题前提,生成式解释也可能与正确数字矛盾。第12章把关键状态和动作结果放回系统,提示词不能替用户同意、缓存命中不能替版本核验、完成话术不能替真实执行。
第四条联系是“独立数据约束改进”。从最初朴素贝叶斯训练分数,到姓名数据重复、同书句子随机切分、阈值选择和上线意图补标,反复使用同一批材料选择模型都会影响评价。需要根据文档、用户或时间关系划分,再在训练范围拟合词表、降维和重采样;最终测试检验锁定流程,而不是继续充当调参反馈。
第五条联系是“可运行与可交付分层”。附录A的依赖环境、B的语言协议、C的数学轴、D的评估以及E的接口和制品,共同决定系统能否复现。旧教程可用于理解机制,却需要核对版本、参数和输入。工程上应沿错误证据定位最小问题,而不是因为代码有输出就扩大性能或社会收益结论。
发散与实践
以下为读者延伸,交付的是计划,不表示现实实践已经完成。
第一项“深读问答评估器”把第12章的EM和词元F1映射到官方SQuAD2实现,固定提交并已通读277行源码,形成七项机制映射。下一步用90分钟解释规范化、重复词、多参考和无答案阈值,再写本地中文问答的差异规则。计划文件:ideas/idea-001-深读问答评估器.md;首轮映射在_workflow_evidence/practice-squad-evaluator/initial-mapping.md。未下载问答数据、未运行基准或训练模型。
第二项“制定对话状态验收规范”以本次阅读助手从持续批量转为“完成当前书后暂停”的真实指令为对象,计划整理12类状态与证据场景。重点是把实际用户消息、任务状态和生成话术分开,防止把模型代写的用户授权或完成声明当事实。计划文件:ideas/idea-002-制定对话状态验收规范.md;整套验收表与机器人测试尚未执行。
本次不采用完整重训翻译器、儿童教学试用、云端部署或跨模型榜单比较:它们需要额外数据、资源、现实对象或授权,也不是理解当前机制的最低成本起点。后续可先完成两项有限计划,只有新问题需要运行才能回答时再增加实验。