来源书籍

深度学习进阶:自然语言处理

Skill 版本:v24 经典原理(高信息浓度 + 高稳定性) 128 张卡片

书中以共现与 PPMI、反向传播、门控和注意力解释机制,并实现模型;核心数学与算法具有迁移价值,Python 库版本、实验结果和研究前沿有时效性。工具版本、实验结果和研究前沿应结合出版年代理解。 [整书笔记](_book_note.md)|[阅读覆盖](_coverage.md)|[工作流交接](_workflow.md)

斋藤康毅 · 陆宇杰 译 · 人民邮电出版社 · 2020 · ISBN 978-7-115-54764-4

全书导读

本书用 Python 从基础部件出发,逐步实现自然语言处理中的词向量、循环网络、序列转换和注意力。读者需要具备 Python 和神经网络基础;书中重点是理解机制与实现,而非追踪最新研究或介绍特定深度学习框架。

全书先复习矩阵运算和神经网络训练,再对比共现计数与预测式词向量;随后用 RNN 和门控结构处理序列,扩展到文本生成、编码器解码器及注意力。附录补充导数、WordNet 操作与 GRU。实践和具体实验结果需与书中的历史环境、模型和数据条件一起理解。

译者序与前言

译者指出,本书延续前作的动手实现路线,重点从图像识别转向自然语言和序列;词向量、语言模型和文本生成只是自然语言处理的一部分。作者强调从能够理解的部件出发,通过创建和运行程序理解技术;从零实现加深理解说明这种方法的用途和边界。书中使用 Python、NumPy 和 Matplotlib,部分耗时计算提供 CuPy 方案;其中 Matplotlib 的实验可视化用图展示训练过程;这些工具的具体版本与当前环境仍需单独核验。

译者序

译者说明本书从前作的图像识别转向循环网络与自然语言处理,并提醒读者 NLP 还包括多种其他研究范式。

前言

本书延续从零实现的路线,聚焦自然语言与时序数据。

本书的理念

从自己能理解的部件出发,亲自实现和运行技术,可暴露结构、依赖与假设,为使用成熟工具和阅读论文打基础。

相关卡片:从零实现加深理解。

原书依据 · 1 处

进入自然语言处理的世界

作者按解决问题、再改进方案的顺序安排 word2vec、RNN、LSTM、seq2seq 和注意力。

本书面向的读者

本书假定读者具备 Python 与神经网络基础,通过代码和实验解释原理。

本书不面向的读者

本书不以最新研究、特定深度学习框架操作或详尽理论为覆盖目标。

运行环境

示例使用 Python、NumPy 和 Matplotlib,部分耗时计算提供可选 CuPy 路径。NumPy 提供数组运算,Matplotlib 可将实验过程绘图;具体依赖版本应按实际环境核验。

相关卡片:Matplotlib实验可视化。

原书依据 · 1 处

再次出发

作者强调亲自动手与思考的经验,鼓励读者继续探索。

第 1 章 神经网络的复习

神经网络可以看作把输入转换为输出的函数。向量、矩阵和更高维数组用于组织数据:小批量通常把不同样本放在矩阵的各行。在本书的实现约定中,向量作为行向量处理;一维数组 (3,) 与二维行矩阵 (1,3) 的维数不同。矩阵乘法要求左矩阵列数与右矩阵行数一致;对应元素相乘则是另一种运算:它逐个计算相同位置的元素,而向量内积将对应元素的乘积相加。矩阵乘积中的每个结果来自左侧一行与右侧一列的内积,例如 (3,2) 与 (2,4) 相乘得到 (3,4)。广播允许相容形状的数组共同计算,例如把同一个偏置加到小批量的每一行;维度检查只能排除形状不相容,不能证明运算含义正确。

全连接层中的每个输出与前一层各输入相连,计算加权和并加上偏置。本书按有权重的层计数,这个输入层、隐藏层、输出层的示例称作两层网络;不同文献的计数约定可能不同。全连接层与层数说明这一约定。随后使用 sigmoid 等非线性函数,使网络能够表达更复杂的关系。sigmoid 将实数映射到零与一之间;本章示例依次使用 Affine、Sigmoid、Affine,最后输出各类别得分。输入形状 (10,2) 表示 10 条二维样本,经 (2,4) 权重得到 (10,4) 的隐藏层结果,偏置对各行广播。层的实现统一正向传播、反向传播、参数及梯度的接口,模型因此能组合各层,并集中管理参数。两层网络将两个 Affine 和一个 Sigmoid 顺序放入层列表,推理时依次调用各层;两层网络的层组合展示了实际类职责。

分类学习需要衡量预测与标签之间的差异:Softmax 对各类别得分进行归一化,得到总和为一的概率分布;独热标签用一个 1 标识正确类别。交叉熵在这一情形下等于正确类别概率的负对数,批量损失可对各样本取平均。本书将 Softmax 与交叉熵合成损失层,其反向梯度由预测概率与标签之差构成。梯度说明参数的微小变化如何影响损失;反向传播依据链式法则,将输出处的梯度逐层传回。计算图表达反向传播把局部运算及梯度路径组织起来;计算图中的复制在反向传播时汇总各分支,求和则把梯度传回各输入。对 Y=XW,输入梯度为 dY·Wᵀ,权重梯度为 Xᵀ·dY;广播偏置的梯度沿批次求和。Sigmoid 反向传播利用正向输出 y,将上游梯度乘以 y(1-y)。若外部列表持有梯度数组引用,原位覆盖数组能让这些引用看到更新,而重新绑定列表项不会改变原引用。

学习循环取小批量,计算损失和梯度,再用 SGD 按学习率沿梯度反方向更新。优化器接口分离更新说明模型与更新规则的分工。书中的训练版网络用小随机数初始化权重、零初始化偏置,并单独设置损失层;初始化示例记录了它的适用范围。螺旋数据示例展示非线性分类和损失变化,但为了演示没有划分训练与测试集,不能据此判断对未见样本的泛化。书中训练器封装了打乱、分批、计算梯度、调用优化器和记录损失的流程;一个 epoch 通常表示遍历一轮训练数据。浮点位数影响内存与精度,GPU 则可并行执行大量乘加;实际收益和精度需按任务与硬件验证。

1.1 数学和 Python 的复习

向量、矩阵与张量以不同维数组织数字。NumPy 的形状记录各轴长度:一维 (3,) 和二维 (1,3) 不同。本书采用行向量约定。对应元素乘法逐项计算;内积把对应乘积相加,矩阵乘积把左侧行与右侧列做内积。形状检查要求内侧维数一致;广播只在形状满足规则时使不同形状参与逐元素计算。

相关卡片:逐元素与矩阵乘积、矩阵乘积的形状检查、数组维度与形状、向量内积。

原书依据 · 5 处

1.2 神经网络的推理

全连接层将各输入加权求和并加偏置,小批量把样本放在矩阵各行,共享权重和偏置。sigmoid 将实数压到零至一之间,为网络引入非线性。两个仿射层之间加入激活函数,输出是类别得分而非概率;书中按有权重的层计数,将其称作两层网络。实现上模型顺序组合层并集中保存参数。

相关卡片:广播与偏置、激活函数引入非线性、小批量仿射变换、层接口统一参数管理、分类得分与概率、两层网络的层组合、全连接层与层数。

原书依据 · 9 处

1.3 神经网络的学习

Softmax 将得分转为总和为一的类别概率;独热标签中正确类别为一,交叉熵对应正确类别概率的负对数。梯度汇集损失对参数的偏导;计算图借链式法则从输出反向传播。加法传递梯度,乘法使用另一输入,复制的反向是汇总,求和的反向是分配。矩阵乘法通过转置求梯度,批量偏置梯度沿样本轴求和。优化器按参数与梯度对应关系更新;SGD 沿负梯度按学习率迈步。

相关卡片:交叉熵衡量分类损失、链式法则与反向传播、复制与求和的反向传播、矩阵乘法反向传播、随机梯度下降更新、梯度数组原位更新、分类损失的输出梯度、梯度与参数更新、Softmax归一化得分、Sigmoid的反向传播、加法乘法节点反传、独热编码表示类别、仿射层偏置梯度、计算图表达反向传播、优化器接口分离更新。

原书依据 · 17 处

1.4 使用神经网络解决问题

螺旋数据有三类二维样本,不能用一条直线分开。示例以小随机权重和零偏置初始化两层网络,利用非线性隐藏层训练分类。每轮打乱数据并取小批量,求损失、反向传播和更新参数;Trainer 封装循环。书中图展示训练损失下降和非线性决策边界,但简化实验没有独立测试集,不能据此判断泛化。

相关卡片:训练与泛化评估、训练循环与轮次、非线性分类的实验、训练器分离训练循环、神经网络初始化示例。

原书依据 · 6 处

1.5 计算的高速化

浮点位数影响内存、传输及数值精度;书中训练优先使用 float32,保存权重时采用 float16 以减少存储。具体精度和速度要看模型、硬件与实现。GPU 可以并行处理大量乘加;CuPy 提供与 NumPy 相似的数组接口,但并非完全兼容,书中 GPU 路径需要相应设备和依赖。

相关卡片:计算精度与资源权衡、GPU并行与数组接口。

原书依据 · 3 处

1.6 小结

本章把数组运算、神经网络推理、梯度计算、训练实验及性能准备串联起来,为后面的词向量与序列模型提供共同的实现基础。

第 2 章 自然语言和单词的分布式表示

自然语言处理让计算机处理人类语言,用于检索、翻译和问答等任务。自然语言的表达会变化,同一个词在不同语境中也可能有不同含义,语句还可能存在歧义;自然语言处理的挑战归纳这些特点。同义词词典把近义词归组,并可用上下位或整体与部分等关系连接词义,例如机动车是汽车的上位概念。WordNet 是这类词典的例子;这些关系能帮助检索等任务,但人工词典需要持续维护,也难以表达细微差异。基于语料的方法尝试从实际文本中提取词语之间的关系。

预处理将文本切成词,并为不同词分配 ID;分布式表示则用固定长度的密集实数向量表示词,以便比较词的用法。单词的分布式表示进一步说明这一区别。分布式假设把相似上下文作为相近用法的线索:统计关注词窗口内的词,便可把每个词表示为共现计数向量:矩阵每行对应一个关注词、每列对应一个上下文词,数值是观察到的共现次数;序列边缘要排除越界位置。余弦相似度比较向量方向;按相似度检索词语依次计算并排序其他词的得分,帮助查找上下文相似的词,但零向量无法直接按长度归一化,书中实现用微小值避免除零。语料太小时,相似结果也可能违背直觉。

高频词可能因频繁出现而取得很高的原始共现计数。点互信息将共同出现的概率与两个词各自出现概率的乘积相比较,取比值的对数;正点互信息将负值截为零。由此得到的矩阵仍随词汇表增大而变得高维稀疏。奇异值分解将矩阵分解为 UΣVᵀ,可保留重要方向并压缩表示,但这种降维是近似,会损失信息。书中再用预处理的 PTB 语料和随机截断 SVD做更大规模的示例;随机方法的结果可能随运行变化。

2.1 什么是自然语言处理

自然语言处理让计算机处理人类语言,以支持检索、翻译和问答。自然语言存在歧义、同义表达与随时间变化的用法,因此词义表示不能只靠固定编号。本章先讨论人工词典和语料计数,下一章介绍预测式方法。

相关卡片:自然语言处理的挑战。

原书依据 · 1 处

2.2 同义词词典

词典可将同义或近义词归组,并以图表达上下位与整体部分关系。WordNet 是书中的例子,可通过关系查询近义词或估计相似度。人工构建需要长期维护,面对新词和细微用法差异仍有局限。

相关卡片:词典网络表示词义。

原书依据 · 1 处

2.3 基于计数的方法

语料预处理把文本切词并建立词与 ID 的双向映射。分布式假设以相似上下文作为相近用法的线索:对关注词窗口内的词计数,得到共现矩阵,每行是一个词的向量。余弦相似度比较向量方向,再排序寻找近邻;零向量需要处理除零,小语料的近邻可能并不符合直觉。

相关卡片:语料预处理与词ID、分布式假设与上下文、词语共现矩阵、余弦相似度比较方向、语料规模影响相似词、单词的分布式表示、按相似度检索词语。

原书依据 · 7 处

2.4 基于计数的方法的改进

高频词即便缺少特殊关联,也可能共现很多次。PMI 将共同出现概率与各自概率乘积相比较,PPMI 将负值截为零。PPMI 矩阵仍可能高维稀疏;SVD 将矩阵分解并保留重要方向,以近似方式降维。书中用预处理的 PTB 和随机截断 SVD 做更大实验;结果依赖语料、预处理和随机性。

相关卡片:点互信息修正高频词、正点互信息截断负值、SVD压缩词向量、PTB语料的预处理、随机截断奇异值分解。

原书依据 · 5 处

2.5 小结

本章从人工词典过渡到语料统计,经过共现、PPMI 与降维构造可比较的词向量,为下一章的预测式学习提供对照。

第 3 章 word2vec

基于预测的方法把词向量学习转化为预测任务:给定上下文,模型学习预测目标词。输入的独热向量与权重矩阵相乘,等价于选取对应词的权重行;训练后输入侧权重的行可以作为词向量;输出侧权重也含有词表示,但排列在列方向,书中选择输入侧作为结果;输入输出权重进一步区分这两组矩阵。显式执行这个乘法在大词表下成本较高,为下一章优化埋下问题。

本章实现的 CBOW 模型共享各上下文位置的输入权重,将它们变换后的表示取平均,再通过输出层预测中间词。利用目标词计算交叉熵并反向传播,模型逐步更新参数;对单个样本,损失就是目标词条件概率的负对数;CBOW的负对数似然说明损失与预测概率的关系。多个层共享参数时,更新前需要合并来自各路径的梯度,避免优化器重复处理同一参数。SimpleCBOW 层组合展示模型与各层的关系。

skip-gram 反过来从目标词预测周围词,各上下文位置的损失相加。书中指出两者在速度和表示效果上有不同表现;预测法与计数法也并非永远存在固定的准确率优劣,比较结果取决于实验和超参数。词向量由语料中的用法学习,换语料后表示也会变化。GloVe则将全语料统计信息纳入损失并用小批量学习,展示两种思路可以结合。

3.1 基于推理的方法和神经网络

基于计数的方法在大词表下需要处理很大的统计矩阵;预测式方法从上下文学习目标词,通常按小批量更新。词的独热向量与输入权重相乘,等价于取出对应行。

相关卡片:预测任务学习词向量、独热向量选取权重行。

原书依据 · 2 处

3.2 简单的 word2vec

CBOW 对各上下文词使用共享输入权重,将所得向量平均后计算目标词得分。训练以目标词为标签,输入权重的每行和输出权重的每列都可表示词;书中选输入侧作为结果。语料变化也会改变学习到的关系。

相关卡片:CBOW上下文预测词、词向量依赖语料、词向量的输入输出权重。

原书依据 · 3 处

3.3 学习数据的准备

从语料序列逐位置选目标词和其窗口内上下文,边缘不足完整窗口的样本被排除。示例先产生词 ID,再转换为独热表示;形状变化需要与批量及词表大小对应。

相关卡片:上下文目标词样本。

原书依据 · 1 处

3.4 CBOW 模型的实现

SimpleCBOW 组合输入与输出 MatMul 层和损失层。输入位置共享权重,各路径的梯度要在更新前合并;训练器负责选批和调用优化器。书中小语料的损失下降不等于得到可靠的通用词义。

相关卡片:共享参数合并梯度、SimpleCBOW层组合。

原书依据 · 2 处

3.5 word2vec的补充说明

CBOW 最小化正确目标词条件概率的负对数。skip-gram 反过来从目标词预测上下文,书中推导假设各上下文词条件独立并汇总损失。计数和预测在评测中并无固定胜负;GloVe 将全语料统计纳入损失并通过小批量学习。

相关卡片:CBOW与SkipGram、计数法与预测法比较、CBOW的负对数似然、GloVe融合统计与学习。

原书依据 · 4 处

3.6 小结

本章从预测任务、简化 CBOW 实现到 skip-gram 和方法比较,展示词向量可作为训练副产物;下一章处理大词表的计算瓶颈。

第 4 章 word2vec的高速化

简化 CBOW 在词表变大时有两个瓶颈:输入端独热向量乘大矩阵,以及输出端对全词表计算得分和 Softmax。Embedding 根据词 ID 直接取输入权重的对应行,避免前一种无效计算。若一个批次多次取同一行,反向传播必须把各次梯度累加,不能相互覆盖。

负采样用观察到的目标词作为正例,从词表抽取少量负例,对每个候选计算二分类损失并相加。这样每次只需要所选词的输出向量,而不是完整词表的得分。书中按词频构造采样分布,再以 0.75 次方平滑,让低频词也有较多机会被选中。这个替代目标与完整 Softmax 并不完全相同。负采样层的组合展示采样、内积和损失层的协作。

改进 CBOW 的层组合展示多个输入查表层与采样损失层如何结合。训练后的词向量可用相似词和类推任务初步评价,也可迁移到文本分类等任务。类推指标高不保证目标应用效果好,最终仍要在实际任务上检验。

4.1 Embedding 层

独热向量乘输入矩阵只会选出对应行,Embedding 直接按词 ID 查表,节省输入侧计算。一个批次重复查询同一行时,反向传播必须累加所有对应梯度。

相关卡片:Embedding按词ID查表、重复词ID的梯度累加。

原书依据 · 2 处

4.2 负采样

完整 Softmax 需要计算所有词的得分。负采样将观察到的词作为正例,抽取少量负词并分别计算二分类损失。书中按词频构造分布、取 0.75 次方并归一化,增加低频词的相对采样机会;这是替代目标,不是完整 Softmax 的精确计算。

相关卡片:负采样降低输出计算、负采样分布平滑、候选词嵌入点积计分、二分类交叉熵、负采样层的组合。

原书依据 · 5 处

4.3 改进版 word2vec 的学习

改进 CBOW 用多个共享输入权重的 Embedding 层处理上下文,再用采样损失训练。训练后保存输入词向量和映射;近邻及向量位移类推能展示部分关系,但书中挑选的成功例子不能代表所有类推都有效。

相关卡片:词向量的类推运算、改进CBOW的层组合。

原书依据 · 2 处

4.4 应用与评价

预训练词向量可迁移到文本分类等任务;词向量求和可形成词袋文档表示,但忽略顺序。相似度与类推是内在评价,指标较好不保证具体下游任务表现更好,应在目标数据上检验。

相关卡片:预训练词向量迁移、词向量评估的边界、词袋表示丢失顺序。

原书依据 · 3 处

4.5 小结

Embedding 与负采样分别减少输入和输出端的大词表计算,训练出的表示可供近邻、类推及下游应用使用。

第 5 章 RNN

语言模型为词序列赋概率;依据概率乘法法则,可以将序列概率分解为每个词在此前词语条件下的概率之积。固定窗口 CBOW 只看到有限的前文,而且对窗口词向量求平均会丢失次序,因此不能充分表达顺序及较远的上下文。

RNN 在每一步结合当前输入和上一步的隐藏状态,得到新的隐藏状态。将循环沿时间展开,可以对共享参数执行反向传播,即 BPTT;各时间步的共享参数梯度需要累加。TimeRNN 的时间展开展示单步层如何被序列层管理。长序列导致中间状态存储和梯度传播成本增加。截断 BPTT 将反向传播限制在一个块内,但可将前向隐藏状态传给下一块,故同一数据流的块必须按顺序处理。

RNN 语言模型的组合通过 Embedding、RNN 和仿射输出层预测下一个词,使用困惑度评价预测:它是平均负对数似然的指数,越低表示在相同评估数据上模型整体给正确词的概率越高。书中示例还采用简化的 Xavier 权重初始化。状态应在不相关序列之间重置,避免错误地延续上下文。

5.1 概率和语言模型

语言模型为词序列赋概率,按概率乘法法则可分解为各词在此前词语条件下的概率乘积。固定窗口忽略更早信息;将窗口词向量平均的 CBOW 还丢失顺序。

相关卡片:语言模型的序列概率、固定窗口的上下文限制。

原书依据 · 2 处

5.2 RNN

RNN 在每步结合当前输入和上一步隐藏状态,得到新的隐藏状态;展开后各步共享权重。BPTT 沿时间反向传播,截断 BPTT 限制反向跨度但可在块间继承前向状态,因此同一数据流的块需顺序输入。

相关卡片:循环网络的隐藏状态、时间展开的反向传播、截断BPTT保留前向状态、截断训练的批次偏移。

原书依据 · 5 处

5.3 RNN的实现

单步 RNN 将输入与前状态分别变换、相加后经 tanh 更新。TimeRNN 管理多个共享权重的单步层,并可保存或重置隐藏状态;反向时汇合不同路径及不同时间步的梯度。

相关卡片:RNN逐步更新状态、状态跨块继承与重置、跨时刻共享参数梯度、TimeRNN的时间展开。

原书依据 · 4 处

5.4 处理时序数据的层

RNN 语言模型使用 Embedding 将词 ID 转为向量,RNN 汇聚历史,Affine 和 Softmax 输出下一词分布。Time 层将多时间步整体处理,时序损失汇总后取平均。

相关卡片:RNN语言模型的层次。

原书依据 · 2 处

5.5 RNNLM的学习和评价

训练时输入和目标错开一词,截断批次按偏移顺序读取。困惑度是平均负对数似然的指数;相同数据与分词条件下,越低表示模型整体给正确词的概率越高。示例使用简化 Xavier 初始化和专用训练器。

相关卡片:语言模型困惑度、RNN语言模型的组合、Xavier权重初始化。

原书依据 · 4 处

5.6 小结

本章用循环状态与时间反向传播建立语言模型;实际长距离依赖仍可能难学,下一章引入门控。

第 6 章 Gated RNN

简单 RNN 反向传播要沿时间反复经过权重和激活函数,梯度可能不断缩小或增大,导致远期依赖难以学习或更新不稳定。梯度裁剪在总体范数过大时缩放梯度,主要应对爆炸。

LSTM 除隐藏状态外还有记忆单元。遗忘门控制保留旧记忆的比例,输入门控制写入新信息的比例,输出门控制记忆对隐藏状态的贡献。记忆单元中的加法路径和门控有助于保留梯度,但不能保证梯度永不消失。

实现时可将四组门的仿射运算合并,再切分结果;有状态处理需要同时传递隐藏状态和记忆单元;TimeLSTM 的状态管理说明单步与序列层的关系。多层 LSTM把前一层各时间步输出送入下一层。书中的改进模型叠加 LSTM 层,在深度方向使用 Dropout,并共享输入词嵌入和输出层权重。验证集可用于调节学习率,最终仍需独立测试。

6.1 RNN的问题

长期反向传播会反复经过权重和激活函数,梯度可能消失或爆炸。梯度裁剪在总体范数过大时等比例缩小梯度,主要限制过大的更新,不能恢复已消失的梯度。

相关卡片:循环网络梯度不稳定、梯度范数裁剪。

原书依据 · 2 处

6.2 梯度消失和 LSTM

LSTM 有隐藏状态和记忆单元。遗忘门决定旧记忆的保留程度,输入门控制新候选的写入,输出门控制记忆对隐藏状态的贡献。加法路径和门控有助于长期梯度传播,但不能保证永不衰减。

相关卡片:LSTM记忆单元与门、LSTM记忆的梯度路径。

原书依据 · 2 处

6.3 LSTM 的实现

四组门和候选的仿射计算可合并后切分,减少分散计算。TimeLSTM 组合时间步并管理隐藏与记忆双状态;反向时按时间汇合梯度。

相关卡片:合并LSTM门的计算、LSTM跨块传递双状态、TimeLSTM的状态管理。

原书依据 · 4 处

6.4 使用 LSTM 的语言模型

语言模型以 TimeLSTM 替代简单循环层,训练时可裁剪梯度;在独立测试序列上评价之前,需重置隐藏状态和记忆单元。

6.5 进一步改进 RNNLM

堆叠 LSTM、深度方向 Dropout 和输入输出权重共享是书中三项改进。验证集用于观察困惑度并调整学习率;书中一次整体实验不能单独归因于某一项改动。

相关卡片:循环网络的Dropout、词嵌入与输出权重共享、验证集指导学习率、多层LSTM的表示、改进语言模型的组合。

原书依据 · 5 处

6.6 小结

门控结构改善长期信息与梯度的流动,模型深度、正则化和权重共享又共同影响语言模型训练。

第 7 章 基于 RNN 生成文本

语言模型可以根据上下文输出的分布逐词采样,再将采样结果送回模型,直到结束符或长度上限。seq2seq 将这一生成过程与编码器结合:编码器读取输入序列并形成表示,解码器据此生成另一序列。Seq2seq 的类组合说明编码、解码和损失层如何协作。训练时可使用已知目标的前一字符作为输入;生成时只能使用已经生成的字符。

批处理可用填充对齐变长序列,但应考虑屏蔽填充损失及其对编码的影响。书中通过反转输入缩短部分依赖路径,并让 Peeky 解码器在各步重复使用编码器信息;这些方法的效果和额外成本取决于任务。这一框架也可用于对话和其他序列转换;编码器可换成图像编码器,再由解码器输出描述文本。

7.1 使用语言模型生成文本

语言模型输出下一个词的分布,可选最大值或按分布采样,再将所选词反馈并重复。输入一段提示可先建立状态;生成结果仍可能不连贯或不正确。

相关卡片:语言模型逐词生成。

原书依据 · 2 处

7.2 seq2seq 模型

编码器将输入序列变为表示,解码器据此生成输出序列。书中以字符级加法作示例;小批量需要用填充对齐变长序列,而严格处理应屏蔽无效项的影响。

相关卡片:编码器解码器转换序列、变长序列填充与掩码、生成与训练的数据划分。

原书依据 · 5 处

7.3 seq2seq 的实现

编码器末状态作为解码器初始状态;训练时解码器使用已知目标的前一字符,生成时使用自身输出。示例每轮查看测试正确率,如果依据这些结果调参,最终评估便不再独立。

相关卡片:解码训练与生成的输入、Seq2seq的类组合。

原书依据 · 2 处

7.4 seq2seq 的改进

反转输入可缩短某些输入输出对应位置的路径;Peeky 在多个解码位置重复提供编码向量。效果依赖任务和超参数,Peeky 还增加参数和计算。

相关卡片:反转输入缩短部分路径、重复提供编码信息。

原书依据 · 2 处

7.5 seq2seq 的应用

对话、程序输入输出和图像描述都可组织为编码和解码问题。图像描述例子用 CNN 编码图像,再由序列解码器生成文本;实际能力受数据与任务范围限制。

相关卡片:图像编码后生成描述、序列转换的应用。

原书依据 · 2 处

7.6 小结

本章从逐词生成扩展到序列转换,并用反转和重复提供编码信息改善示例模型。

第 8 章 Attention

基本 seq2seq 把整个输入压缩为固定长度的向量,长输入可能遇到信息瓶颈。Attention 让解码器访问编码器各时刻的状态:每个输出步根据当前解码状态计算各源位置得分,用 Softmax 得到权重,再对源状态加权求和,形成该步的上下文向量。这个软加权过程可微,不同输出步可以侧重不同位置。注意力层的组合展示权重与加权求和模块,注意力序列模型组合展示它们与编码器解码器的关系。

书中用日期转换实验观察对齐权重;权重可提供模型行为的线索,但不足以单独证明完整的因果解释。上下文既可用于当前输出层,也可用于下一步循环输入,具体取舍见注意力上下文的使用位置。双向循环编码可让每个输入位置结合左右上下文,残差连接为深层网络提供跨层梯度路径。GNMT 的历史研究结构组合了多层循环网络与注意力;Transformer 使用自注意力和前馈层,减少对循环计算的依赖;外部记忆模型则利用可微寻址读写信息。

8.1 Attention 的结构

单个固定长度编码向量可能成为长输入的信息瓶颈。注意力为每个解码步计算对各编码状态的得分,用 Softmax 形成权重,再加权求和得到上下文;编码状态在多条路径使用时梯度需要汇总。

相关卡片:固定向量的信息瓶颈、注意力的加权上下文、点积注意力权重、注意力反向梯度汇合、注意力层的组合。

原书依据 · 5 处

8.2 带 Attention 的 seq2seq 的实现

编码器返回全部时间步状态,解码器在每步计算上下文,并与当前隐藏状态拼接以生成得分。注意力层按时间组合,可复用编码状态。

相关卡片:注意力序列模型组合。

原书依据 · 1 处

8.3 Attention 的评价

书中以日期格式转换比较模型,并可视化输入输出的注意力权重;权重显示模型分配注意力的模式,但不足以单独证明完整因果解释。示例反复查看测试集,实际调参应另留验证集。

相关卡片:注意力权重可视化。

原书依据 · 1 处

8.4 关于 Attention 的其他话题

双向循环编码可在已有完整输入时结合左右上下文;注意力上下文可送往不同解码位置。残差连接提供跨层梯度路径,但不保证消除所有梯度问题。

相关卡片:双向循环编码、残差连接传递梯度、注意力上下文的使用位置。

原书依据 · 3 处

8.5 Attention 的应用

书中介绍历史 GNMT 的多层循环结构、Transformer 的自注意力,以及使用可微寻址读写外部记忆的神经图灵机。自注意力关联同一序列中的位置;Transformer 不依赖 RNN 的逐步状态递推。

相关卡片:自注意力关联序列内部、Transformer替代循环、外部记忆与可微寻址、GNMT的模型结构。

原书依据 · 4 处

8.6 小结

注意力以可微加权方式连接位置,并被用于序列转换、并行序列模型及外部记忆访问。

附录 A sigmoid 与 tanh 的导数

附录用计算图推导 sigmoid 的导数,并用商法则推导 tanh 的导数;若正向输出为 y,sigmoid 的导数为 y(1-y),tanh 的导数为 1-y²;因此反向传播可复用正向中间值。

附录 A 引言

附录分别用计算图和解析方法推导两种激活函数的导数。

A.1 sigmoid 函数

sigmoid 的计算图依次包含取负、指数、加法和倒数;若正向输出为 y,导数可写为 y(1-y)。

A.2 tanh 函数

使用商法则和指数求导可得 tanh 的导数为 1-y²,其中 y 是正向输出。

相关卡片:tanh导数复用输出。

原书依据 · 1 处

A.3 小结

计算图和解析推导可以从不同角度帮助理解同一导数。

附录 B 运行 WordNet

WordNet 将词义组织为同义词簇,同一个词可能有多个词义。示例通过 NLTK 查看词义、同义词及上位词路径,再利用词义网络的路径比较相似度。使用 NLTK 查询 WordNet汇总书中安装与查询示例;实际使用时仍需确认环境和语料数据可用。

附录 B 引言

本附录用 NLTK 操作 WordNet,以了解词义簇和语义网络。

B.1 NLTK 的安装

书中用 pip 安装并导入 NLTK;运行前仍需确认当前环境与语料数据可用。

相关卡片:使用NLTK查询WordNet。

原书依据 · 4 处

B.2 使用 WordNet 获得同义词

一个词可以属于多个词义簇。先选择具体义项,再查看定义和同义词,可以避免把不同含义混为一谈。

相关卡片:WordNet按词义查询。

原书依据 · 1 处

B.3 WordNet 和单词网络

上位路径从具体概念通向更抽象的概念,同一词义可能有多条上位路径。

相关卡片:词义网络的上位路径。

原书依据 · 2 处

B.4 基于 WordNet 的语义相似度

词义网络路径可用于估计词义之间的相似度;结果依赖选择的义项和网络结构。

附录 C GRU

GRU 只沿时间传递隐藏状态,不另设 LSTM 式的记忆单元。重置门控制旧状态参与候选状态的程度,更新门调节旧状态与新候选的组合。其参数和计算通常较少,但与 LSTM 的表现取决于任务和配置。在书中记号中,更新门 z 对候选状态加权,而 1-z 对旧状态加权。

附录 C 引言

GRU 保留门控思想,采用不同于 LSTM 的较简结构。

C.1 GRU 的接口

GRU 沿时间传递隐藏状态,LSTM 则同时维护隐藏状态和记忆单元。

C.2 GRU 的计算图

重置门控制旧状态参与候选计算的程度,更新门控制旧状态与新候选的组合。书中记号用 z 加权新候选、1-z 加权旧状态;架构效果依任务而异。

相关卡片:GRU的重置与更新门。

原书依据 · 2 处

后记

作者鼓励读者以本书的原理和动手经验为基础,继续探索不断发展的深度学习领域。

致谢

作者感谢先驱、公开审稿参与者和出版制作人员。

跨章综合

本书用两条相互连接的路径处理语言。第一条路径关注词的表示:共现矩阵直接统计窗口里的搭配,PPMI 调整高频词影响,SVD 压缩高维表示;word2vec 则将上下文预测转化为训练任务,从参数中获得词向量。两者都利用语境,但统计方式和训练过程不同。

第二条路径关注顺序:词向量为序列模型提供输入,RNN 通过隐藏状态携带历史,LSTM 增加记忆单元和门以改善长期信息流。语言模型可以预测下一词,也可反复反馈所选词生成文本;编码器解码器将同一思想扩展到输入与输出均为序列的问题。

固定长度编码会限制长输入的信息承载。注意力让每个解码步对编码器各位置计算权重并汇聚上下文;书中进一步从跨序列注意力介绍到序列内部的自注意力。每一步都是为处理前一种表示或计算方式的限制而提出的选择,其效果仍受语料、任务、训练方法和评价方式约束。

发散与实践(计划)

基于书中模型实现,可进一步追踪负采样的正负例处理,以及注意力计算的形状与梯度。两项均为后续计划,已做首轮源码映射,尚未执行完整深读。

生成进度与管理记录

《深度学习进阶:自然语言处理》概览

Skill 版本:v24(book-notes)

执行模式:light

建档进度:done

四象限结论:经典原理(高信息浓度 + 高稳定性)

理由:书中以共现与 PPMI、反向传播、门控和注意力解释机制,并实现模型;核心数学与算法具有迁移价值,Python 库版本、实验结果和研究前沿有时效性。工具版本、实验结果和研究前沿应结合出版年代理解。

整书笔记|阅读覆盖|工作流交接

章节进度追踪表

章节号 章节标题 状态 卡片数
01 神经网络的复习 done 33
02 自然语言和单词的分布式表示 done 14
03 word2vec done 12
04 word2vec 的高速化 done 12
05 RNN done 14
06 Gated RNN done 12
07 基于 RNN 生成文本 done 10
08 Attention done 14

Spine 阅读明细

下表按实际正文 spine 项列出;非正文见下方排除表。卡数按主要出处分配,补充出处不重复计数。

章节号 章节标题 状态 卡片数 来源
7 译者序 done 0 text/part0004.html
8 前言 done 0 text/part0005_split_000.html
9 本书的理念 done 1 text/part0005_split_001.html
10 进入自然语言处理的世界 done 0 text/part0005_split_002.html
11 本书面向的读者 done 0 text/part0005_split_003.html
12 本书不面向的读者 done 0 text/part0005_split_004.html
13 运行环境 done 1 text/part0005_split_005.html
14 再次出发 done 0 text/part0005_split_006.html
18 第 1 章 神经网络的复习 done 0 text/part0006_split_000.html
19 1.1 数学和 Python的复习 done 4 text/part0006_split_001.html
20 1.2 神经网络的推理 done 7 text/part0006_split_002.html
21 1.3 神经网络的学习 done 15 text/part0006_split_003.html
22 1.4 使用神经网络解决问题 done 5 text/part0006_split_004.html
23 1.5 计算的高速化 done 2 text/part0006_split_005.html
24 1.6 小结 done 0 text/part0006_split_006.html
25 第 2 章 自然语言和单词的分布式表示 done 0 text/part0007_split_000.html
26 2.1 什么是自然语言处理 done 1 text/part0007_split_001.html
27 2.2 同义词词典 done 1 text/part0007_split_002.html
28 2.3 基于计数的方法 done 7 text/part0007_split_003.html
29 2.4 基于计数的方法的改进 done 5 text/part0007_split_004.html
30 2.5 小结 done 0 text/part0007_split_005.html
31 第 3 章 word2vec done 0 text/part0008_split_000.html
32 3.1 基于推理的方法和神经网络 done 2 text/part0008_split_001.html
33 3.2 简单的 word2vec done 3 text/part0008_split_002.html
34 3.3 学习数据的准备 done 1 text/part0008_split_003.html
35 3.4 CBOW 模型的实现 done 2 text/part0008_split_004.html
36 3.5 word2vec的补充说明 done 4 text/part0008_split_005.html
37 3.6 小结 done 0 text/part0008_split_006.html
38 第 4 章 word2vec的高速化 done 0 text/part0009_split_000.html
39 4.1 word2vec的改进① done 2 text/part0009_split_001.html
40 4.2 word2vec的改进② done 5 text/part0009_split_002.html
41 4.3 改进版 word2vec 的学习 done 2 text/part0009_split_003.html
42 4.4 wor2vec相关的其他话题 done 3 text/part0009_split_004.html
43 4.5 小结 done 0 text/part0009_split_005.html
44 第 5 章 RNN done 0 text/part0010_split_000.html
45 5.1 概率和语言模型 done 2 text/part0010_split_001.html
46 5.2 RNN done 4 text/part0010_split_002.html
47 5.3 RNN的实现 done 4 text/part0010_split_003.html
48 5.4 处理时序数据的层的实现 done 1 text/part0010_split_004.html
49 5.5 RNNLM的学习和评价 done 3 text/part0010_split_005.html
50 5.6 小结 done 0 text/part0010_split_006.html
51 第 6 章 Gated RNN done 0 text/part0011_split_000.html
52 6.1 RNN的问题 done 2 text/part0011_split_001.html
53 6.2 梯度消失和 LSTM done 2 text/part0011_split_002.html
54 6.3 LSTM 的实现 done 3 text/part0011_split_003.html
55 6.4 使用 LSTM 的语言模型 done 0 text/part0011_split_004.html
56 6.5 进一步改进 RNNLM done 5 text/part0011_split_005.html
57 6.6 小结 done 0 text/part0011_split_006.html
58 第 7 章 基于 RNN 生成文本 done 0 text/part0012_split_000.html
59 7.1 使用语言模型生成文本 done 1 text/part0012_split_001.html
60 7.2 seq2seq 模型 done 3 text/part0012_split_002.html
61 7.3 seq2seq 的实现 done 2 text/part0012_split_003.html
62 7.4 seq2seq 的改进 done 2 text/part0012_split_004.html
63 7.5 seq2seq的应用 done 2 text/part0012_split_005.html
64 7.6 小结 done 0 text/part0012_split_006.html
65 第 8 章 Attention done 0 text/part0013_split_000.html
66 8.1 Attention 的结构 done 5 text/part0013_split_001.html
67 8.2 带 Attention 的 seq2seq的实现 done 1 text/part0013_split_002.html
68 8.3 Attention的评价 done 1 text/part0013_split_003.html
69 8.4 关于 Attention 的其他话题 done 3 text/part0013_split_004.html
70 8.5 Attention 的应用 done 4 text/part0013_split_005.html
71 8.6 小结 done 0 text/part0013_split_006.html
72 附录 A sigmoid 函数和 tanh 函数的导数 done 0 text/part0014_split_000.html
73 A.1 sigmoid函数 done 0 text/part0014_split_001.html
74 A.2 tanh 函数 done 1 text/part0014_split_002.html
75 A.3 小结 done 0 text/part0014_split_003.html
76 附录 B 运行 WordNet done 0 text/part0015_split_000.html
77 B.1 NLTK 的安装 done 1 text/part0015_split_001.html
78 B.2 使用 WordNet 获得同义词 done 1 text/part0015_split_002.html
79 B.3 WordNet 和单词网络 done 1 text/part0015_split_003.html
80 B.4 基于 WordNet 的语义相似度 done 0 text/part0015_split_004.html
81 附录 C GRU done 0 text/part0016_split_000.html
82 C.1 GRU 的接口 done 0 text/part0016_split_001.html
83 C.2 GRU 的计算图 done 1 text/part0016_split_002.html
84 后记 done 0 text/part0017_split_000.html
85 致谢 done 0 text/part0017_split_001.html

非正文排除

spine项 类型 排除理由
15 排版规则 字体、代码和提示样式约定,不构成主题正文。
16 读者服务 反馈渠道及主页联系方式。
17 电子书服务 购买电子版的说明。
1 封面 标题页,无正文讲解
2、4 版权页 书目信息与版权声明,保留为元数据依据
3、89 目录 标题与链接目录,不重复作为正文
5–6 出版方介绍及书评 介绍出版社和宣传评价,不属于本书知识正文
86 参考文献 文献清单,相关引用应登记而非作为章节讲解
87 作者简介 作者履历,无主题正文
88 读者服务页 联系方式与社交账号

待关联术语

术语名 出现章节 一句话语境
基于语言学的自然语言处理 译者序 译者列举研究范式,未进一步解释。
基于规则的自然语言处理 译者序 译者列举研究范式,未进一步解释。
AdaGrad 1.3.6 优化器文件中提供,正文未展开其机制。
Adam 1.3.6 与 SGD 并列提到的优化方法,本节未解释细节。

引用文献

标题 类型 出现章节 一句话语境
Matplotlib 框架 前言 本书实验可视化所用的 Python 绘图库。
Natural Language Processing with Python 书 附录B WordNet 和 NLTK 的进一步阅读。
WordNet Interface 框架 附录B.4 词义相似度方法的文档参考。
Empirical evaluation of gated recurrent neural networks on sequence modeling 论文 附录C.2 LSTM 与 GRU 的经验比较研究。
An empirical exploration of recurrent network architectures 论文 附录C.2 不同循环网络结构的比较研究。
WMT 翻译数据集 数据集 8.3.1 文中提到的机器翻译基准。
Neural machine translation by jointly learning to align and translate 论文 8.4.2 另一种注意力使用位置的参考研究。
Effective approaches to attention-based neural machine translation 论文 8.1.4 不同注意力评分方式的参考研究。
A Neural Network for Machine Translation, at Production Scale 文章 8.5.1 文中 GNMT 生产翻译评价的参考。
Attention Is All You Need 论文 8.5.2 Transformer 的原始研究。
Transformer: A Novel Neural Network Architecture for Language Understanding 文章 8.5.2 Transformer 结果图的参考。
Convolutional Sequence to Sequence Learning 论文 8.5.2 使用卷积代替循环的序列转换研究。
Neural turing machines 论文 8.5.3 使用可微外部记忆的研究。
Hybrid computing using a neural network with dynamic external memory 论文 8.5.3 可微分神经计算机的研究。
Differentiable neural computers 文章 8.5.3 外部记忆概念图的来源。
Recurrent neural network regularization 论文 7.1.3 文本生成示例参考的语言模型研究。
Implementation of sequence to sequence learning for performing addition of two numbers 源码项目 7.2.4 加法数据集制作参考。
Sequence to sequence learning with neural networks 论文 7.4.1 反转输入技巧的参考研究。
Learning phrase representations using RNN encoder-decoder for statistical machine translation 论文 7.4.2、附录C 书中 Peeky 思路与 GRU 的参考文献。
A neural conversational model 论文 7.5.1 书中帮助台对话示例来源。
Learning to execute 论文 7.5.2 从程序文本学习输出的研究。
Show and tell: A neural image caption generator 论文 7.5.3 图像描述编码器解码器模型研究。
Deep visual-semantic alignments for generating image descriptions 论文 7.5.3 图像描述相关研究。
Show and Tell: A Neural Image Caption Generator 源码项目 7.5.3 文中自动图像描述例子的实现。
Improving performance of recurrent neural network with relu nonlinearity 论文 6.1.3 使用 ReLU 缓解循环网络训练问题的参考研究。
On the difficulty of training recurrent neural networks 论文 6.1.3 关于循环网络梯度问题的参考研究。
Understanding LSTM Networks 文章 6.2.2 本书说明 LSTM 结构时参考的讲解。
Regularizing and optimizing LSTM language models 论文 6.4、6.5.5 书中比较历史语言模型结果的研究。
Dropout: a simple way to prevent neural networks from overfitting 论文 6.5.2 Dropout 的参考文献。
A theoretically grounded application of dropout in recurrent neural networks 论文 6.5.2 变分 Dropout 的参考研究。
Using the output embedding to improve language models 论文 6.5.3 权重共享的参考研究。
Word-level language modeling RNN 源码项目 6.5.4 学习率调整实现的参考项目。
Google’s neural machine translation system: Bridging the gap between human and machine translation 论文 6.5.1、8.5.1 多层 LSTM 的 GNMT 实例。
A neural probabilistic language model 论文 5.1.3 作为通过拼接上下文词向量保留顺序的模型参考。
Efficient estimation of word representations in vector space 论文 3.6 word2vec 的原始研究之一。
Distributed representations of words and phrases and their compositionality 论文 3.6 word2vec 与词组表示的原始研究之一。
Don’t count, predict! A systematic comparison of context-counting vs. context-predicting semantic vectors 论文 3.5.3 计数与预测方法的比较。
Improving distributional similarity with lessons learned from word embeddings 论文 3.5.3 讨论超参数对词相似度比较的影响。
Neural word embedding as implicit matrix factorization 论文 3.5.3 特定条件下预测法与矩阵分解的联系。
GloVe: Global Vectors for Word Representation 论文 3.2.3、3.5.3、4.4.2 输入输出权重组合和 GloVe 方法的参考文献。
Tying Word Vectors and Word Classifiers: A Loss Framework for Language Modeling 论文 3.2.3、6.5.3 本书列为词向量权重选择的参考文献。
Word association norms, mutual information, and lexicography 论文 2.4.1 词语关联与点互信息的参考文献。
Indexing by latent semantic analysis 论文 2.4.2 降维和奇异值分解的参考文献。
scikit-learn 框架 2.4.3、2.4.5 正文引用截断 SVD 工具并用于较大语料实验。
Penn Treebank 数据集 2.4.4–2.4.5 书中使用其预处理版本进行词向量实验。
精通正则表达式(第3版) 书 2.3.1 正文推荐用于进一步了解正则表达式。
IBM Watson 框架 2.1 正文以问答竞赛为例提及其应用。
CS224d: Deep Learning for Natural Language Processing 课程 2.1 本章结构参考的斯坦福课程。
WordNet: a lexical database for English 论文 2.2 WordNet 同义词词典的来源。
NLTK 框架 2.2 附录中用于运行 WordNet 的 Python 工具包。
Deep learning with limited numerical precision 论文 1.5.1 低精度神经网络计算的参考研究。
In-datacenter performance analysis of a tensor processing unit 论文 1.5.1 TPU 与低位计算的参考研究。
CuPy 框架 前言、1.5.2 GPU 数组计算库,书中同时引用其安装文档。
NumPy(Broadcasting 文档) 框架 前言、1.1.3 作为 NumPy 广播详细规则的参考资料。
深度学习入门:基于 Python 的理论与实现 书 译者序、前言、1.3.1、1.3.5、1.3.6 引导读者查阅 Softmax 损失和其他优化方法的细节。
100 numpy exercises 源码项目 1.1.4 推荐通过练习积累 NumPy 使用经验,正文未展开。

资金安全问题案例

问题标题 问题卡 解决方案卡(如有) 出现章节 一句话说明

实践卡进度

序号 实践标题 实践方式 状态 关联章节 产出
1 追踪负采样实现 实现深读 done 第4章 ideas/idea-001-追踪负采样实现.md;首轮源码映射已准备
2 追踪注意力计算 实现深读 done 第8章 ideas/idea-002-追踪注意力计算.md;首轮源码映射已准备

实践候选筛选:done。采用负采样与注意力两项实现深读:它们分别针对大词表计算与序列对齐,问题不同且配套实现可核验。未单独采用 WordNet 安装或重新实现基础 RNN:前者已有附录操作卡,后者可先通过成熟实现阅读理解,暂不增加重复任务。两张卡交付的是计划和首轮源码映射,完整深读与实验尚未执行。

相关主题

从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。

暂无公开主题。