此笔记位置已失效,请从目录继续阅读。
全书导读
本书用 Python 从基础部件出发,逐步实现自然语言处理中的词向量、循环网络、序列转换和注意力。读者需要具备 Python 和神经网络基础;书中重点是理解机制与实现,而非追踪最新研究或介绍特定深度学习框架。
全书先复习矩阵运算和神经网络训练,再对比共现计数与预测式词向量;随后用 RNN 和门控结构处理序列,扩展到文本生成、编码器解码器及注意力。附录补充导数、WordNet 操作与 GRU。实践和具体实验结果需与书中的历史环境、模型和数据条件一起理解。
译者序与前言
译者指出,本书延续前作的动手实现路线,重点从图像识别转向自然语言和序列;词向量、语言模型和文本生成只是自然语言处理的一部分。作者强调从能够理解的部件出发,通过创建和运行程序理解技术;从零实现加深理解说明这种方法的用途和边界。书中使用 Python、NumPy 和 Matplotlib,部分耗时计算提供 CuPy 方案;其中 Matplotlib 的实验可视化用图展示训练过程;这些工具的具体版本与当前环境仍需单独核验。
译者序
译者说明本书从前作的图像识别转向循环网络与自然语言处理,并提醒读者 NLP 还包括多种其他研究范式。
前言
本书延续从零实现的路线,聚焦自然语言与时序数据。
原书依据 · 1 处
进入自然语言处理的世界
作者按解决问题、再改进方案的顺序安排 word2vec、RNN、LSTM、seq2seq 和注意力。
本书面向的读者
本书假定读者具备 Python 与神经网络基础,通过代码和实验解释原理。
本书不面向的读者
本书不以最新研究、特定深度学习框架操作或详尽理论为覆盖目标。
运行环境
示例使用 Python、NumPy 和 Matplotlib,部分耗时计算提供可选 CuPy 路径。NumPy 提供数组运算,Matplotlib 可将实验过程绘图;具体依赖版本应按实际环境核验。
相关卡片:Matplotlib实验可视化。
原书依据 · 1 处
再次出发
作者强调亲自动手与思考的经验,鼓励读者继续探索。
第 1 章 神经网络的复习
神经网络可以看作把输入转换为输出的函数。向量、矩阵和更高维数组用于组织数据:小批量通常把不同样本放在矩阵的各行。在本书的实现约定中,向量作为行向量处理;一维数组 (3,) 与二维行矩阵 (1,3) 的维数不同。矩阵乘法要求左矩阵列数与右矩阵行数一致;对应元素相乘则是另一种运算:它逐个计算相同位置的元素,而向量内积将对应元素的乘积相加。矩阵乘积中的每个结果来自左侧一行与右侧一列的内积,例如 (3,2) 与 (2,4) 相乘得到 (3,4)。广播允许相容形状的数组共同计算,例如把同一个偏置加到小批量的每一行;维度检查只能排除形状不相容,不能证明运算含义正确。
全连接层中的每个输出与前一层各输入相连,计算加权和并加上偏置。本书按有权重的层计数,这个输入层、隐藏层、输出层的示例称作两层网络;不同文献的计数约定可能不同。全连接层与层数说明这一约定。随后使用 sigmoid 等非线性函数,使网络能够表达更复杂的关系。sigmoid 将实数映射到零与一之间;本章示例依次使用 Affine、Sigmoid、Affine,最后输出各类别得分。输入形状 (10,2) 表示 10 条二维样本,经 (2,4) 权重得到 (10,4) 的隐藏层结果,偏置对各行广播。层的实现统一正向传播、反向传播、参数及梯度的接口,模型因此能组合各层,并集中管理参数。两层网络将两个 Affine 和一个 Sigmoid 顺序放入层列表,推理时依次调用各层;两层网络的层组合展示了实际类职责。
分类学习需要衡量预测与标签之间的差异:Softmax 对各类别得分进行归一化,得到总和为一的概率分布;独热标签用一个 1 标识正确类别。交叉熵在这一情形下等于正确类别概率的负对数,批量损失可对各样本取平均。本书将 Softmax 与交叉熵合成损失层,其反向梯度由预测概率与标签之差构成。梯度说明参数的微小变化如何影响损失;反向传播依据链式法则,将输出处的梯度逐层传回。计算图表达反向传播把局部运算及梯度路径组织起来;计算图中的复制在反向传播时汇总各分支,求和则把梯度传回各输入。对 Y=XW,输入梯度为 dY·Wᵀ,权重梯度为 Xᵀ·dY;广播偏置的梯度沿批次求和。Sigmoid 反向传播利用正向输出 y,将上游梯度乘以 y(1-y)。若外部列表持有梯度数组引用,原位覆盖数组能让这些引用看到更新,而重新绑定列表项不会改变原引用。
学习循环取小批量,计算损失和梯度,再用 SGD 按学习率沿梯度反方向更新。优化器接口分离更新说明模型与更新规则的分工。书中的训练版网络用小随机数初始化权重、零初始化偏置,并单独设置损失层;初始化示例记录了它的适用范围。螺旋数据示例展示非线性分类和损失变化,但为了演示没有划分训练与测试集,不能据此判断对未见样本的泛化。书中训练器封装了打乱、分批、计算梯度、调用优化器和记录损失的流程;一个 epoch 通常表示遍历一轮训练数据。浮点位数影响内存与精度,GPU 则可并行执行大量乘加;实际收益和精度需按任务与硬件验证。
1.1 数学和 Python 的复习
向量、矩阵与张量以不同维数组织数字。NumPy 的形状记录各轴长度:一维 (3,) 和二维 (1,3) 不同。本书采用行向量约定。对应元素乘法逐项计算;内积把对应乘积相加,矩阵乘积把左侧行与右侧列做内积。形状检查要求内侧维数一致;广播只在形状满足规则时使不同形状参与逐元素计算。
1.3 神经网络的学习
Softmax 将得分转为总和为一的类别概率;独热标签中正确类别为一,交叉熵对应正确类别概率的负对数。梯度汇集损失对参数的偏导;计算图借链式法则从输出反向传播。加法传递梯度,乘法使用另一输入,复制的反向是汇总,求和的反向是分配。矩阵乘法通过转置求梯度,批量偏置梯度沿样本轴求和。优化器按参数与梯度对应关系更新;SGD 沿负梯度按学习率迈步。
相关卡片:交叉熵衡量分类损失、链式法则与反向传播、复制与求和的反向传播、矩阵乘法反向传播、随机梯度下降更新、梯度数组原位更新、分类损失的输出梯度、梯度与参数更新、Softmax归一化得分、Sigmoid的反向传播、加法乘法节点反传、独热编码表示类别、仿射层偏置梯度、计算图表达反向传播、优化器接口分离更新。
原书依据 · 17 处
- 神经网络的复习 · 查看原书依据
- 神经网络的复习 · 查看原书依据
- 神经网络的复习 · 查看原书依据
- 神经网络的复习 · 查看原书依据
- 神经网络的复习 · 查看原书依据
- 神经网络的复习 · 查看原书依据
- 神经网络的复习 · 查看原书依据
- 神经网络的复习 · 查看原书依据
- 神经网络的复习 · 查看原书依据
- 神经网络的复习 · 查看原书依据
- sigmoid 函数和 tanh 函数的导数 · 查看原书依据
- 神经网络的复习 · 查看原书依据
- 神经网络的复习 · 查看原书依据
- 神经网络的复习 1.4.1 螺旋状数据集 · 查看原书依据
- 神经网络的复习 · 查看原书依据
- 神经网络的复习 · 查看原书依据
- 神经网络的复习 · 查看原书依据
1.4 使用神经网络解决问题
螺旋数据有三类二维样本,不能用一条直线分开。示例以小随机权重和零偏置初始化两层网络,利用非线性隐藏层训练分类。每轮打乱数据并取小批量,求损失、反向传播和更新参数;Trainer 封装循环。书中图展示训练损失下降和非线性决策边界,但简化实验没有独立测试集,不能据此判断泛化。
1.5 计算的高速化
浮点位数影响内存、传输及数值精度;书中训练优先使用 float32,保存权重时采用 float16 以减少存储。具体精度和速度要看模型、硬件与实现。GPU 可以并行处理大量乘加;CuPy 提供与 NumPy 相似的数组接口,但并非完全兼容,书中 GPU 路径需要相应设备和依赖。
相关卡片:计算精度与资源权衡、GPU并行与数组接口。
1.6 小结
本章把数组运算、神经网络推理、梯度计算、训练实验及性能准备串联起来,为后面的词向量与序列模型提供共同的实现基础。
第 2 章 自然语言和单词的分布式表示
自然语言处理让计算机处理人类语言,用于检索、翻译和问答等任务。自然语言的表达会变化,同一个词在不同语境中也可能有不同含义,语句还可能存在歧义;自然语言处理的挑战归纳这些特点。同义词词典把近义词归组,并可用上下位或整体与部分等关系连接词义,例如机动车是汽车的上位概念。WordNet 是这类词典的例子;这些关系能帮助检索等任务,但人工词典需要持续维护,也难以表达细微差异。基于语料的方法尝试从实际文本中提取词语之间的关系。
预处理将文本切成词,并为不同词分配 ID;分布式表示则用固定长度的密集实数向量表示词,以便比较词的用法。单词的分布式表示进一步说明这一区别。分布式假设把相似上下文作为相近用法的线索:统计关注词窗口内的词,便可把每个词表示为共现计数向量:矩阵每行对应一个关注词、每列对应一个上下文词,数值是观察到的共现次数;序列边缘要排除越界位置。余弦相似度比较向量方向;按相似度检索词语依次计算并排序其他词的得分,帮助查找上下文相似的词,但零向量无法直接按长度归一化,书中实现用微小值避免除零。语料太小时,相似结果也可能违背直觉。
高频词可能因频繁出现而取得很高的原始共现计数。点互信息将共同出现的概率与两个词各自出现概率的乘积相比较,取比值的对数;正点互信息将负值截为零。由此得到的矩阵仍随词汇表增大而变得高维稀疏。奇异值分解将矩阵分解为 UΣVᵀ,可保留重要方向并压缩表示,但这种降维是近似,会损失信息。书中再用预处理的 PTB 语料和随机截断 SVD做更大规模的示例;随机方法的结果可能随运行变化。
2.1 什么是自然语言处理
自然语言处理让计算机处理人类语言,以支持检索、翻译和问答。自然语言存在歧义、同义表达与随时间变化的用法,因此词义表示不能只靠固定编号。本章先讨论人工词典和语料计数,下一章介绍预测式方法。
相关卡片:自然语言处理的挑战。
原书依据 · 1 处
2.2 同义词词典
词典可将同义或近义词归组,并以图表达上下位与整体部分关系。WordNet 是书中的例子,可通过关系查询近义词或估计相似度。人工构建需要长期维护,面对新词和细微用法差异仍有局限。
相关卡片:词典网络表示词义。
原书依据 · 1 处
2.4 基于计数的方法的改进
高频词即便缺少特殊关联,也可能共现很多次。PMI 将共同出现概率与各自概率乘积相比较,PPMI 将负值截为零。PPMI 矩阵仍可能高维稀疏;SVD 将矩阵分解并保留重要方向,以近似方式降维。书中用预处理的 PTB 和随机截断 SVD 做更大实验;结果依赖语料、预处理和随机性。
2.5 小结
本章从人工词典过渡到语料统计,经过共现、PPMI 与降维构造可比较的词向量,为下一章的预测式学习提供对照。
第 3 章 word2vec
基于预测的方法把词向量学习转化为预测任务:给定上下文,模型学习预测目标词。输入的独热向量与权重矩阵相乘,等价于选取对应词的权重行;训练后输入侧权重的行可以作为词向量;输出侧权重也含有词表示,但排列在列方向,书中选择输入侧作为结果;输入输出权重进一步区分这两组矩阵。显式执行这个乘法在大词表下成本较高,为下一章优化埋下问题。
本章实现的 CBOW 模型共享各上下文位置的输入权重,将它们变换后的表示取平均,再通过输出层预测中间词。利用目标词计算交叉熵并反向传播,模型逐步更新参数;对单个样本,损失就是目标词条件概率的负对数;CBOW的负对数似然说明损失与预测概率的关系。多个层共享参数时,更新前需要合并来自各路径的梯度,避免优化器重复处理同一参数。SimpleCBOW 层组合展示模型与各层的关系。
skip-gram 反过来从目标词预测周围词,各上下文位置的损失相加。书中指出两者在速度和表示效果上有不同表现;预测法与计数法也并非永远存在固定的准确率优劣,比较结果取决于实验和超参数。词向量由语料中的用法学习,换语料后表示也会变化。GloVe则将全语料统计信息纳入损失并用小批量学习,展示两种思路可以结合。
3.1 基于推理的方法和神经网络
基于计数的方法在大词表下需要处理很大的统计矩阵;预测式方法从上下文学习目标词,通常按小批量更新。词的独热向量与输入权重相乘,等价于取出对应行。
原书依据 · 2 处
3.2 简单的 word2vec
CBOW 对各上下文词使用共享输入权重,将所得向量平均后计算目标词得分。训练以目标词为标签,输入权重的每行和输出权重的每列都可表示词;书中选输入侧作为结果。语料变化也会改变学习到的关系。
相关卡片:CBOW上下文预测词、词向量依赖语料、词向量的输入输出权重。
原书依据 · 1 处
3.4 CBOW 模型的实现
SimpleCBOW 组合输入与输出 MatMul 层和损失层。输入位置共享权重,各路径的梯度要在更新前合并;训练器负责选批和调用优化器。书中小语料的损失下降不等于得到可靠的通用词义。
相关卡片:共享参数合并梯度、SimpleCBOW层组合。
原书依据 · 2 处
3.5 word2vec的补充说明
CBOW 最小化正确目标词条件概率的负对数。skip-gram 反过来从目标词预测上下文,书中推导假设各上下文词条件独立并汇总损失。计数和预测在评测中并无固定胜负;GloVe 将全语料统计纳入损失并通过小批量学习。
3.6 小结
本章从预测任务、简化 CBOW 实现到 skip-gram 和方法比较,展示词向量可作为训练副产物;下一章处理大词表的计算瓶颈。
第 4 章 word2vec的高速化
简化 CBOW 在词表变大时有两个瓶颈:输入端独热向量乘大矩阵,以及输出端对全词表计算得分和 Softmax。Embedding 根据词 ID 直接取输入权重的对应行,避免前一种无效计算。若一个批次多次取同一行,反向传播必须把各次梯度累加,不能相互覆盖。
负采样用观察到的目标词作为正例,从词表抽取少量负例,对每个候选计算二分类损失并相加。这样每次只需要所选词的输出向量,而不是完整词表的得分。书中按词频构造采样分布,再以 0.75 次方平滑,让低频词也有较多机会被选中。这个替代目标与完整 Softmax 并不完全相同。负采样层的组合展示采样、内积和损失层的协作。
改进 CBOW 的层组合展示多个输入查表层与采样损失层如何结合。训练后的词向量可用相似词和类推任务初步评价,也可迁移到文本分类等任务。类推指标高不保证目标应用效果好,最终仍要在实际任务上检验。
4.1 Embedding 层
独热向量乘输入矩阵只会选出对应行,Embedding 直接按词 ID 查表,节省输入侧计算。一个批次重复查询同一行时,反向传播必须累加所有对应梯度。
相关卡片:Embedding按词ID查表、重复词ID的梯度累加。
4.2 负采样
完整 Softmax 需要计算所有词的得分。负采样将观察到的词作为正例,抽取少量负词并分别计算二分类损失。书中按词频构造分布、取 0.75 次方并归一化,增加低频词的相对采样机会;这是替代目标,不是完整 Softmax 的精确计算。
4.3 改进版 word2vec 的学习
改进 CBOW 用多个共享输入权重的 Embedding 层处理上下文,再用采样损失训练。训练后保存输入词向量和映射;近邻及向量位移类推能展示部分关系,但书中挑选的成功例子不能代表所有类推都有效。
相关卡片:词向量的类推运算、改进CBOW的层组合。
4.4 应用与评价
预训练词向量可迁移到文本分类等任务;词向量求和可形成词袋文档表示,但忽略顺序。相似度与类推是内在评价,指标较好不保证具体下游任务表现更好,应在目标数据上检验。
4.5 小结
Embedding 与负采样分别减少输入和输出端的大词表计算,训练出的表示可供近邻、类推及下游应用使用。
第 5 章 RNN
语言模型为词序列赋概率;依据概率乘法法则,可以将序列概率分解为每个词在此前词语条件下的概率之积。固定窗口 CBOW 只看到有限的前文,而且对窗口词向量求平均会丢失次序,因此不能充分表达顺序及较远的上下文。
RNN 在每一步结合当前输入和上一步的隐藏状态,得到新的隐藏状态。将循环沿时间展开,可以对共享参数执行反向传播,即 BPTT;各时间步的共享参数梯度需要累加。TimeRNN 的时间展开展示单步层如何被序列层管理。长序列导致中间状态存储和梯度传播成本增加。截断 BPTT 将反向传播限制在一个块内,但可将前向隐藏状态传给下一块,故同一数据流的块必须按顺序处理。
RNN 语言模型的组合通过 Embedding、RNN 和仿射输出层预测下一个词,使用困惑度评价预测:它是平均负对数似然的指数,越低表示在相同评估数据上模型整体给正确词的概率越高。书中示例还采用简化的 Xavier 权重初始化。状态应在不相关序列之间重置,避免错误地延续上下文。
5.1 概率和语言模型
语言模型为词序列赋概率,按概率乘法法则可分解为各词在此前词语条件下的概率乘积。固定窗口忽略更早信息;将窗口词向量平均的 CBOW 还丢失顺序。
相关卡片:语言模型的序列概率、固定窗口的上下文限制。
原书依据 · 2 处
5.2 RNN
RNN 在每步结合当前输入和上一步隐藏状态,得到新的隐藏状态;展开后各步共享权重。BPTT 沿时间反向传播,截断 BPTT 限制反向跨度但可在块间继承前向状态,因此同一数据流的块需顺序输入。
5.3 RNN的实现
单步 RNN 将输入与前状态分别变换、相加后经 tanh 更新。TimeRNN 管理多个共享权重的单步层,并可保存或重置隐藏状态;反向时汇合不同路径及不同时间步的梯度。
5.4 处理时序数据的层
RNN 语言模型使用 Embedding 将词 ID 转为向量,RNN 汇聚历史,Affine 和 Softmax 输出下一词分布。Time 层将多时间步整体处理,时序损失汇总后取平均。
相关卡片:RNN语言模型的层次。
原书依据 · 2 处
5.5 RNNLM的学习和评价
训练时输入和目标错开一词,截断批次按偏移顺序读取。困惑度是平均负对数似然的指数;相同数据与分词条件下,越低表示模型整体给正确词的概率越高。示例使用简化 Xavier 初始化和专用训练器。
相关卡片:语言模型困惑度、RNN语言模型的组合、Xavier权重初始化。
5.6 小结
本章用循环状态与时间反向传播建立语言模型;实际长距离依赖仍可能难学,下一章引入门控。
第 6 章 Gated RNN
简单 RNN 反向传播要沿时间反复经过权重和激活函数,梯度可能不断缩小或增大,导致远期依赖难以学习或更新不稳定。梯度裁剪在总体范数过大时缩放梯度,主要应对爆炸。
LSTM 除隐藏状态外还有记忆单元。遗忘门控制保留旧记忆的比例,输入门控制写入新信息的比例,输出门控制记忆对隐藏状态的贡献。记忆单元中的加法路径和门控有助于保留梯度,但不能保证梯度永不消失。
实现时可将四组门的仿射运算合并,再切分结果;有状态处理需要同时传递隐藏状态和记忆单元;TimeLSTM 的状态管理说明单步与序列层的关系。多层 LSTM把前一层各时间步输出送入下一层。书中的改进模型叠加 LSTM 层,在深度方向使用 Dropout,并共享输入词嵌入和输出层权重。验证集可用于调节学习率,最终仍需独立测试。
6.1 RNN的问题
长期反向传播会反复经过权重和激活函数,梯度可能消失或爆炸。梯度裁剪在总体范数过大时等比例缩小梯度,主要限制过大的更新,不能恢复已消失的梯度。
原书依据 · 2 处
6.2 梯度消失和 LSTM
LSTM 有隐藏状态和记忆单元。遗忘门决定旧记忆的保留程度,输入门控制新候选的写入,输出门控制记忆对隐藏状态的贡献。加法路径和门控有助于长期梯度传播,但不能保证永不衰减。
相关卡片:LSTM记忆单元与门、LSTM记忆的梯度路径。
原书依据 · 2 处
6.3 LSTM 的实现
四组门和候选的仿射计算可合并后切分,减少分散计算。TimeLSTM 组合时间步并管理隐藏与记忆双状态;反向时按时间汇合梯度。
6.4 使用 LSTM 的语言模型
语言模型以 TimeLSTM 替代简单循环层,训练时可裁剪梯度;在独立测试序列上评价之前,需重置隐藏状态和记忆单元。
6.5 进一步改进 RNNLM
堆叠 LSTM、深度方向 Dropout 和输入输出权重共享是书中三项改进。验证集用于观察困惑度并调整学习率;书中一次整体实验不能单独归因于某一项改动。
6.6 小结
门控结构改善长期信息与梯度的流动,模型深度、正则化和权重共享又共同影响语言模型训练。
第 7 章 基于 RNN 生成文本
语言模型可以根据上下文输出的分布逐词采样,再将采样结果送回模型,直到结束符或长度上限。seq2seq 将这一生成过程与编码器结合:编码器读取输入序列并形成表示,解码器据此生成另一序列。Seq2seq 的类组合说明编码、解码和损失层如何协作。训练时可使用已知目标的前一字符作为输入;生成时只能使用已经生成的字符。
批处理可用填充对齐变长序列,但应考虑屏蔽填充损失及其对编码的影响。书中通过反转输入缩短部分依赖路径,并让 Peeky 解码器在各步重复使用编码器信息;这些方法的效果和额外成本取决于任务。这一框架也可用于对话和其他序列转换;编码器可换成图像编码器,再由解码器输出描述文本。
原书依据 · 2 处
7.2 seq2seq 模型
编码器将输入序列变为表示,解码器据此生成输出序列。书中以字符级加法作示例;小批量需要用填充对齐变长序列,而严格处理应屏蔽无效项的影响。
相关卡片:编码器解码器转换序列、变长序列填充与掩码、生成与训练的数据划分。
7.3 seq2seq 的实现
编码器末状态作为解码器初始状态;训练时解码器使用已知目标的前一字符,生成时使用自身输出。示例每轮查看测试正确率,如果依据这些结果调参,最终评估便不再独立。
相关卡片:解码训练与生成的输入、Seq2seq的类组合。
原书依据 · 2 处
7.4 seq2seq 的改进
反转输入可缩短某些输入输出对应位置的路径;Peeky 在多个解码位置重复提供编码向量。效果依赖任务和超参数,Peeky 还增加参数和计算。
相关卡片:反转输入缩短部分路径、重复提供编码信息。
原书依据 · 2 处
7.5 seq2seq 的应用
对话、程序输入输出和图像描述都可组织为编码和解码问题。图像描述例子用 CNN 编码图像,再由序列解码器生成文本;实际能力受数据与任务范围限制。
原书依据 · 2 处
7.6 小结
本章从逐词生成扩展到序列转换,并用反转和重复提供编码信息改善示例模型。
第 8 章 Attention
基本 seq2seq 把整个输入压缩为固定长度的向量,长输入可能遇到信息瓶颈。Attention 让解码器访问编码器各时刻的状态:每个输出步根据当前解码状态计算各源位置得分,用 Softmax 得到权重,再对源状态加权求和,形成该步的上下文向量。这个软加权过程可微,不同输出步可以侧重不同位置。注意力层的组合展示权重与加权求和模块,注意力序列模型组合展示它们与编码器解码器的关系。
书中用日期转换实验观察对齐权重;权重可提供模型行为的线索,但不足以单独证明完整的因果解释。上下文既可用于当前输出层,也可用于下一步循环输入,具体取舍见注意力上下文的使用位置。双向循环编码可让每个输入位置结合左右上下文,残差连接为深层网络提供跨层梯度路径。GNMT 的历史研究结构组合了多层循环网络与注意力;Transformer 使用自注意力和前馈层,减少对循环计算的依赖;外部记忆模型则利用可微寻址读写信息。
8.1 Attention 的结构
单个固定长度编码向量可能成为长输入的信息瓶颈。注意力为每个解码步计算对各编码状态的得分,用 Softmax 形成权重,再加权求和得到上下文;编码状态在多条路径使用时梯度需要汇总。
8.2 带 Attention 的 seq2seq 的实现
编码器返回全部时间步状态,解码器在每步计算上下文,并与当前隐藏状态拼接以生成得分。注意力层按时间组合,可复用编码状态。
相关卡片:注意力序列模型组合。
原书依据 · 1 处
8.3 Attention 的评价
书中以日期格式转换比较模型,并可视化输入输出的注意力权重;权重显示模型分配注意力的模式,但不足以单独证明完整因果解释。示例反复查看测试集,实际调参应另留验证集。
相关卡片:注意力权重可视化。
原书依据 · 1 处
8.4 关于 Attention 的其他话题
双向循环编码可在已有完整输入时结合左右上下文;注意力上下文可送往不同解码位置。残差连接提供跨层梯度路径,但不保证消除所有梯度问题。
相关卡片:双向循环编码、残差连接传递梯度、注意力上下文的使用位置。
8.5 Attention 的应用
书中介绍历史 GNMT 的多层循环结构、Transformer 的自注意力,以及使用可微寻址读写外部记忆的神经图灵机。自注意力关联同一序列中的位置;Transformer 不依赖 RNN 的逐步状态递推。
8.6 小结
注意力以可微加权方式连接位置,并被用于序列转换、并行序列模型及外部记忆访问。
附录 A sigmoid 与 tanh 的导数
附录用计算图推导 sigmoid 的导数,并用商法则推导 tanh 的导数;若正向输出为 y,sigmoid 的导数为 y(1-y),tanh 的导数为 1-y²;因此反向传播可复用正向中间值。
附录 A 引言
附录分别用计算图和解析方法推导两种激活函数的导数。
A.1 sigmoid 函数
sigmoid 的计算图依次包含取负、指数、加法和倒数;若正向输出为 y,导数可写为 y(1-y)。
原书依据 · 1 处
A.3 小结
计算图和解析推导可以从不同角度帮助理解同一导数。
附录 B 运行 WordNet
WordNet 将词义组织为同义词簇,同一个词可能有多个词义。示例通过 NLTK 查看词义、同义词及上位词路径,再利用词义网络的路径比较相似度。使用 NLTK 查询 WordNet汇总书中安装与查询示例;实际使用时仍需确认环境和语料数据可用。
附录 B 引言
本附录用 NLTK 操作 WordNet,以了解词义簇和语义网络。
原书依据 · 1 处
原书依据 · 2 处
B.4 基于 WordNet 的语义相似度
词义网络路径可用于估计词义之间的相似度;结果依赖选择的义项和网络结构。
附录 C GRU
GRU 只沿时间传递隐藏状态,不另设 LSTM 式的记忆单元。重置门控制旧状态参与候选状态的程度,更新门调节旧状态与新候选的组合。其参数和计算通常较少,但与 LSTM 的表现取决于任务和配置。在书中记号中,更新门 z 对候选状态加权,而 1-z 对旧状态加权。
附录 C 引言
GRU 保留门控思想,采用不同于 LSTM 的较简结构。
C.1 GRU 的接口
GRU 沿时间传递隐藏状态,LSTM 则同时维护隐藏状态和记忆单元。
原书依据 · 2 处
后记
作者鼓励读者以本书的原理和动手经验为基础,继续探索不断发展的深度学习领域。
致谢
作者感谢先驱、公开审稿参与者和出版制作人员。
跨章综合
本书用两条相互连接的路径处理语言。第一条路径关注词的表示:共现矩阵直接统计窗口里的搭配,PPMI 调整高频词影响,SVD 压缩高维表示;word2vec 则将上下文预测转化为训练任务,从参数中获得词向量。两者都利用语境,但统计方式和训练过程不同。
第二条路径关注顺序:词向量为序列模型提供输入,RNN 通过隐藏状态携带历史,LSTM 增加记忆单元和门以改善长期信息流。语言模型可以预测下一词,也可反复反馈所选词生成文本;编码器解码器将同一思想扩展到输入与输出均为序列的问题。
固定长度编码会限制长输入的信息承载。注意力让每个解码步对编码器各位置计算权重并汇聚上下文;书中进一步从跨序列注意力介绍到序列内部的自注意力。每一步都是为处理前一种表示或计算方式的限制而提出的选择,其效果仍受语料、任务、训练方法和评价方式约束。
发散与实践(计划)
基于书中模型实现,可进一步追踪负采样的正负例处理,以及注意力计算的形状与梯度。两项均为后续计划,已做首轮源码映射,尚未执行完整深读。