来源书籍
深度学习进阶:自然语言处理
书中以共现与 PPMI、反向传播、门控和注意力解释机制,并实现模型;核心数学与算法具有迁移价值,Python 库版本、实验结果和研究前沿有时效性。工具版本、实验结果和研究前沿应结合出版年代理解。 [整书笔记](_book_note.md)|[阅读覆盖](_coverage.md)|[工作流交接](_workflow.md)
章节与卡片
01 神经网络的复习
33 张卡片
- 逐元素与矩阵乘积 理解等级:中级 普通读书笔记卡
- 矩阵乘积的形状检查 理解等级:中级 普通读书笔记卡
- 广播与偏置 理解等级:中级 普通读书笔记卡
- 激活函数引入非线性 理解等级:中级 普通读书笔记卡
- 交叉熵衡量分类损失 理解等级:中级 普通读书笔记卡
- 链式法则与反向传播 理解等级:中级 普通读书笔记卡
- 复制与求和的反向传播 理解等级:中级 普通读书笔记卡
- 矩阵乘法反向传播 理解等级:中级 普通读书笔记卡
- 随机梯度下降更新 理解等级:中级 普通读书笔记卡
- 小批量仿射变换 理解等级:中级 普通读书笔记卡
- 层接口统一参数管理 理解等级:中级 普通读书笔记卡
- 梯度数组原位更新 理解等级:中级 普通读书笔记卡
- 分类损失的输出梯度 理解等级:中级 普通读书笔记卡
- 训练与泛化评估 理解等级:中级 普通读书笔记卡
- 训练循环与轮次 理解等级:中级 普通读书笔记卡
- 计算精度与资源权衡 理解等级:中级 普通读书笔记卡
- GPU并行与数组接口 理解等级:中级 普通读书笔记卡
- 数组维度与形状 理解等级:中级 普通读书笔记卡
- 梯度与参数更新 理解等级:中级 普通读书笔记卡
- 非线性分类的实验 理解等级:中级 普通读书笔记卡
- Softmax归一化得分 理解等级:中级 普通读书笔记卡
- Sigmoid的反向传播 理解等级:中级 普通读书笔记卡
- 加法乘法节点反传 理解等级:中级 普通读书笔记卡
- 向量内积 理解等级:中级 普通读书笔记卡
- 独热编码表示类别 理解等级:中级 普通读书笔记卡
- 训练器分离训练循环 理解等级:中级 普通读书笔记卡
- 分类得分与概率 理解等级:中级 普通读书笔记卡
- 仿射层偏置梯度 理解等级:中级 普通读书笔记卡
- 两层网络的层组合 理解等级:中级 结构图卡
- 全连接层与层数 理解等级:初级 普通读书笔记卡
- 计算图表达反向传播 理解等级:中级 普通读书笔记卡
- 优化器接口分离更新 理解等级:中级 普通读书笔记卡
- 神经网络初始化示例 理解等级:初级 普通读书笔记卡
02 自然语言和单词的分布式表示
14 张卡片
- 词典网络表示词义 理解等级:中级 普通读书笔记卡
- 语料预处理与词ID 理解等级:中级 普通读书笔记卡
- 分布式假设与上下文 理解等级:中级 普通读书笔记卡
- 词语共现矩阵 理解等级:中级 普通读书笔记卡
- 余弦相似度比较方向 理解等级:中级 普通读书笔记卡
- 点互信息修正高频词 理解等级:中级 普通读书笔记卡
- 正点互信息截断负值 理解等级:中级 普通读书笔记卡
- SVD压缩词向量 理解等级:中级 普通读书笔记卡
- 语料规模影响相似词 理解等级:中级 普通读书笔记卡
- 自然语言处理的挑战 理解等级:初级 普通读书笔记卡
- 单词的分布式表示 理解等级:初级 普通读书笔记卡
- 按相似度检索词语 理解等级:中级 普通读书笔记卡
- PTB语料的预处理 理解等级:中级 普通读书笔记卡
- 随机截断奇异值分解 理解等级:中级 普通读书笔记卡
03 word2vec
12 张卡片
- 预测任务学习词向量 理解等级:中级 普通读书笔记卡
- 独热向量选取权重行 理解等级:中级 普通读书笔记卡
- CBOW上下文预测词 理解等级:中级 普通读书笔记卡
- 上下文目标词样本 理解等级:中级 普通读书笔记卡
- 共享参数合并梯度 理解等级:中级 普通读书笔记卡
- CBOW与SkipGram 理解等级:中级 普通读书笔记卡
- 计数法与预测法比较 理解等级:中级 普通读书笔记卡
- 词向量依赖语料 理解等级:中级 普通读书笔记卡
- 词向量的输入输出权重 理解等级:中级 普通读书笔记卡
- CBOW的负对数似然 理解等级:中级 普通读书笔记卡
- GloVe融合统计与学习 理解等级:中级 延伸参考卡
- SimpleCBOW层组合 理解等级:中级 结构图卡
04 word2vec 的高速化
12 张卡片
- Embedding按词ID查表 理解等级:中级 普通读书笔记卡
- 重复词ID的梯度累加 理解等级:中级 普通读书笔记卡
- 负采样降低输出计算 理解等级:中级 普通读书笔记卡
- 负采样分布平滑 理解等级:中级 普通读书笔记卡
- 候选词嵌入点积计分 理解等级:中级 普通读书笔记卡
- 二分类交叉熵 理解等级:中级 普通读书笔记卡
- 词向量的类推运算 理解等级:中级 普通读书笔记卡
- 预训练词向量迁移 理解等级:中级 普通读书笔记卡
- 词向量评估的边界 理解等级:中级 普通读书笔记卡
- 词袋表示丢失顺序 理解等级:中级 普通读书笔记卡
- 负采样层的组合 理解等级:中级 结构图卡
- 改进CBOW的层组合 理解等级:中级 结构图卡
05 RNN
14 张卡片
- 语言模型的序列概率 理解等级:中级 普通读书笔记卡
- 固定窗口的上下文限制 理解等级:中级 普通读书笔记卡
- 循环网络的隐藏状态 理解等级:中级 普通读书笔记卡
- 时间展开的反向传播 理解等级:中级 普通读书笔记卡
- 截断BPTT保留前向状态 理解等级:中级 普通读书笔记卡
- 截断训练的批次偏移 理解等级:中级 普通读书笔记卡
- RNN逐步更新状态 理解等级:中级 普通读书笔记卡
- 状态跨块继承与重置 理解等级:中级 普通读书笔记卡
- 跨时刻共享参数梯度 理解等级:中级 普通读书笔记卡
- RNN语言模型的层次 理解等级:中级 普通读书笔记卡
- 语言模型困惑度 理解等级:中级 普通读书笔记卡
- TimeRNN的时间展开 理解等级:中级 结构图卡
- RNN语言模型的组合 理解等级:中级 结构图卡
- Xavier权重初始化 理解等级:中级 普通读书笔记卡
06 Gated RNN
12 张卡片
- 循环网络梯度不稳定 理解等级:中级 普通读书笔记卡
- 梯度范数裁剪 理解等级:中级 普通读书笔记卡
- LSTM记忆单元与门 理解等级:中级 普通读书笔记卡
- LSTM记忆的梯度路径 理解等级:中级 普通读书笔记卡
- 合并LSTM门的计算 理解等级:中级 普通读书笔记卡
- LSTM跨块传递双状态 理解等级:中级 普通读书笔记卡
- 循环网络的Dropout 理解等级:中级 普通读书笔记卡
- 词嵌入与输出权重共享 理解等级:中级 普通读书笔记卡
- 验证集指导学习率 理解等级:中级 普通读书笔记卡
- TimeLSTM的状态管理 理解等级:中级 结构图卡
- 多层LSTM的表示 理解等级:中级 普通读书笔记卡
- 改进语言模型的组合 理解等级:中级 结构图卡
07 基于 RNN 生成文本
10 张卡片
- 语言模型逐词生成 理解等级:中级 普通读书笔记卡
- 编码器解码器转换序列 理解等级:中级 普通读书笔记卡
- 变长序列填充与掩码 理解等级:中级 普通读书笔记卡
- 生成与训练的数据划分 理解等级:中级 普通读书笔记卡
- 解码训练与生成的输入 理解等级:中级 普通读书笔记卡
- 反转输入缩短部分路径 理解等级:中级 普通读书笔记卡
- 重复提供编码信息 理解等级:中级 普通读书笔记卡
- 图像编码后生成描述 理解等级:中级 普通读书笔记卡
- Seq2seq的类组合 理解等级:中级 结构图卡
- 序列转换的应用 理解等级:初级 普通读书笔记卡
08 Attention
14 张卡片
- 固定向量的信息瓶颈 理解等级:中级 普通读书笔记卡
- 注意力的加权上下文 理解等级:中级 普通读书笔记卡
- 点积注意力权重 理解等级:中级 普通读书笔记卡
- 注意力反向梯度汇合 理解等级:中级 普通读书笔记卡
- 注意力权重可视化 理解等级:中级 普通读书笔记卡
- 双向循环编码 理解等级:中级 普通读书笔记卡
- 残差连接传递梯度 理解等级:中级 普通读书笔记卡
- 自注意力关联序列内部 理解等级:中级 普通读书笔记卡
- Transformer替代循环 理解等级:中级 普通读书笔记卡
- 外部记忆与可微寻址 理解等级:中级 普通读书笔记卡
- 注意力层的组合 理解等级:中级 结构图卡
- 注意力序列模型组合 理解等级:中级 结构图卡
- 注意力上下文的使用位置 理解等级:中级 普通读书笔记卡
- GNMT的模型结构 理解等级:中级 延伸参考卡
00 本书的理念
1 张卡片
- 从零实现加深理解 理解等级:中级 普通读书笔记卡
00 运行环境
1 张卡片
- Matplotlib实验可视化 理解等级:初级 延伸参考卡
09 sigmoid 函数和 tanh 函数的导数
1 张卡片
- tanh导数复用输出 理解等级:中级 普通读书笔记卡
10 运行 WordNet
3 张卡片
- WordNet按词义查询 理解等级:中级 普通读书笔记卡
- 词义网络的上位路径 理解等级:中级 普通读书笔记卡
- 使用NLTK查询WordNet 理解等级:中级 操作参考卡
11 GRU
1 张卡片
- GRU的重置与更新门 理解等级:中级 普通读书笔记卡
全书概览
《深度学习进阶:自然语言处理》概览
Skill 版本:v24(book-notes)
执行模式:light
建档进度:done
四象限结论:经典原理(高信息浓度 + 高稳定性)
理由:书中以共现与 PPMI、反向传播、门控和注意力解释机制,并实现模型;核心数学与算法具有迁移价值,Python 库版本、实验结果和研究前沿有时效性。工具版本、实验结果和研究前沿应结合出版年代理解。
整书笔记|阅读覆盖|工作流交接
章节进度追踪表
| 章节号 | 章节标题 | 状态 | 卡片数 |
|---|---|---|---|
| 01 | 神经网络的复习 | done | 33 |
| 02 | 自然语言和单词的分布式表示 | done | 14 |
| 03 | word2vec | done | 12 |
| 04 | word2vec 的高速化 | done | 12 |
| 05 | RNN | done | 14 |
| 06 | Gated RNN | done | 12 |
| 07 | 基于 RNN 生成文本 | done | 10 |
| 08 | Attention | done | 14 |
Spine 阅读明细
下表按实际正文 spine 项列出;非正文见下方排除表。卡数按主要出处分配,补充出处不重复计数。
| 章节号 | 章节标题 | 状态 | 卡片数 | 来源 |
|---|---|---|---|---|
| 7 | 译者序 | done | 0 | text/part0004.html |
| 8 | 前言 | done | 0 | text/part0005_split_000.html |
| 9 | 本书的理念 | done | 1 | text/part0005_split_001.html |
| 10 | 进入自然语言处理的世界 | done | 0 | text/part0005_split_002.html |
| 11 | 本书面向的读者 | done | 0 | text/part0005_split_003.html |
| 12 | 本书不面向的读者 | done | 0 | text/part0005_split_004.html |
| 13 | 运行环境 | done | 1 | text/part0005_split_005.html |
| 14 | 再次出发 | done | 0 | text/part0005_split_006.html |
| 18 | 第 1 章 神经网络的复习 | done | 0 | text/part0006_split_000.html |
| 19 | 1.1 数学和 Python的复习 | done | 4 | text/part0006_split_001.html |
| 20 | 1.2 神经网络的推理 | done | 7 | text/part0006_split_002.html |
| 21 | 1.3 神经网络的学习 | done | 15 | text/part0006_split_003.html |
| 22 | 1.4 使用神经网络解决问题 | done | 5 | text/part0006_split_004.html |
| 23 | 1.5 计算的高速化 | done | 2 | text/part0006_split_005.html |
| 24 | 1.6 小结 | done | 0 | text/part0006_split_006.html |
| 25 | 第 2 章 自然语言和单词的分布式表示 | done | 0 | text/part0007_split_000.html |
| 26 | 2.1 什么是自然语言处理 | done | 1 | text/part0007_split_001.html |
| 27 | 2.2 同义词词典 | done | 1 | text/part0007_split_002.html |
| 28 | 2.3 基于计数的方法 | done | 7 | text/part0007_split_003.html |
| 29 | 2.4 基于计数的方法的改进 | done | 5 | text/part0007_split_004.html |
| 30 | 2.5 小结 | done | 0 | text/part0007_split_005.html |
| 31 | 第 3 章 word2vec | done | 0 | text/part0008_split_000.html |
| 32 | 3.1 基于推理的方法和神经网络 | done | 2 | text/part0008_split_001.html |
| 33 | 3.2 简单的 word2vec | done | 3 | text/part0008_split_002.html |
| 34 | 3.3 学习数据的准备 | done | 1 | text/part0008_split_003.html |
| 35 | 3.4 CBOW 模型的实现 | done | 2 | text/part0008_split_004.html |
| 36 | 3.5 word2vec的补充说明 | done | 4 | text/part0008_split_005.html |
| 37 | 3.6 小结 | done | 0 | text/part0008_split_006.html |
| 38 | 第 4 章 word2vec的高速化 | done | 0 | text/part0009_split_000.html |
| 39 | 4.1 word2vec的改进① | done | 2 | text/part0009_split_001.html |
| 40 | 4.2 word2vec的改进② | done | 5 | text/part0009_split_002.html |
| 41 | 4.3 改进版 word2vec 的学习 | done | 2 | text/part0009_split_003.html |
| 42 | 4.4 wor2vec相关的其他话题 | done | 3 | text/part0009_split_004.html |
| 43 | 4.5 小结 | done | 0 | text/part0009_split_005.html |
| 44 | 第 5 章 RNN | done | 0 | text/part0010_split_000.html |
| 45 | 5.1 概率和语言模型 | done | 2 | text/part0010_split_001.html |
| 46 | 5.2 RNN | done | 4 | text/part0010_split_002.html |
| 47 | 5.3 RNN的实现 | done | 4 | text/part0010_split_003.html |
| 48 | 5.4 处理时序数据的层的实现 | done | 1 | text/part0010_split_004.html |
| 49 | 5.5 RNNLM的学习和评价 | done | 3 | text/part0010_split_005.html |
| 50 | 5.6 小结 | done | 0 | text/part0010_split_006.html |
| 51 | 第 6 章 Gated RNN | done | 0 | text/part0011_split_000.html |
| 52 | 6.1 RNN的问题 | done | 2 | text/part0011_split_001.html |
| 53 | 6.2 梯度消失和 LSTM | done | 2 | text/part0011_split_002.html |
| 54 | 6.3 LSTM 的实现 | done | 3 | text/part0011_split_003.html |
| 55 | 6.4 使用 LSTM 的语言模型 | done | 0 | text/part0011_split_004.html |
| 56 | 6.5 进一步改进 RNNLM | done | 5 | text/part0011_split_005.html |
| 57 | 6.6 小结 | done | 0 | text/part0011_split_006.html |
| 58 | 第 7 章 基于 RNN 生成文本 | done | 0 | text/part0012_split_000.html |
| 59 | 7.1 使用语言模型生成文本 | done | 1 | text/part0012_split_001.html |
| 60 | 7.2 seq2seq 模型 | done | 3 | text/part0012_split_002.html |
| 61 | 7.3 seq2seq 的实现 | done | 2 | text/part0012_split_003.html |
| 62 | 7.4 seq2seq 的改进 | done | 2 | text/part0012_split_004.html |
| 63 | 7.5 seq2seq的应用 | done | 2 | text/part0012_split_005.html |
| 64 | 7.6 小结 | done | 0 | text/part0012_split_006.html |
| 65 | 第 8 章 Attention | done | 0 | text/part0013_split_000.html |
| 66 | 8.1 Attention 的结构 | done | 5 | text/part0013_split_001.html |
| 67 | 8.2 带 Attention 的 seq2seq的实现 | done | 1 | text/part0013_split_002.html |
| 68 | 8.3 Attention的评价 | done | 1 | text/part0013_split_003.html |
| 69 | 8.4 关于 Attention 的其他话题 | done | 3 | text/part0013_split_004.html |
| 70 | 8.5 Attention 的应用 | done | 4 | text/part0013_split_005.html |
| 71 | 8.6 小结 | done | 0 | text/part0013_split_006.html |
| 72 | 附录 A sigmoid 函数和 tanh 函数的导数 | done | 0 | text/part0014_split_000.html |
| 73 | A.1 sigmoid函数 | done | 0 | text/part0014_split_001.html |
| 74 | A.2 tanh 函数 | done | 1 | text/part0014_split_002.html |
| 75 | A.3 小结 | done | 0 | text/part0014_split_003.html |
| 76 | 附录 B 运行 WordNet | done | 0 | text/part0015_split_000.html |
| 77 | B.1 NLTK 的安装 | done | 1 | text/part0015_split_001.html |
| 78 | B.2 使用 WordNet 获得同义词 | done | 1 | text/part0015_split_002.html |
| 79 | B.3 WordNet 和单词网络 | done | 1 | text/part0015_split_003.html |
| 80 | B.4 基于 WordNet 的语义相似度 | done | 0 | text/part0015_split_004.html |
| 81 | 附录 C GRU | done | 0 | text/part0016_split_000.html |
| 82 | C.1 GRU 的接口 | done | 0 | text/part0016_split_001.html |
| 83 | C.2 GRU 的计算图 | done | 1 | text/part0016_split_002.html |
| 84 | 后记 | done | 0 | text/part0017_split_000.html |
| 85 | 致谢 | done | 0 | text/part0017_split_001.html |
非正文排除
| spine项 | 类型 | 排除理由 |
|---|---|---|
| 15 | 排版规则 | 字体、代码和提示样式约定,不构成主题正文。 |
| 16 | 读者服务 | 反馈渠道及主页联系方式。 |
| 17 | 电子书服务 | 购买电子版的说明。 |
| 1 | 封面 | 标题页,无正文讲解 |
| 2、4 | 版权页 | 书目信息与版权声明,保留为元数据依据 |
| 3、89 | 目录 | 标题与链接目录,不重复作为正文 |
| 5–6 | 出版方介绍及书评 | 介绍出版社和宣传评价,不属于本书知识正文 |
| 86 | 参考文献 | 文献清单,相关引用应登记而非作为章节讲解 |
| 87 | 作者简介 | 作者履历,无主题正文 |
| 88 | 读者服务页 | 联系方式与社交账号 |
待关联术语
| 术语名 | 出现章节 | 一句话语境 |
|---|---|---|
| 基于语言学的自然语言处理 | 译者序 | 译者列举研究范式,未进一步解释。 |
| 基于规则的自然语言处理 | 译者序 | 译者列举研究范式,未进一步解释。 |
| AdaGrad | 1.3.6 | 优化器文件中提供,正文未展开其机制。 |
| Adam | 1.3.6 | 与 SGD 并列提到的优化方法,本节未解释细节。 |
引用文献
| 标题 | 类型 | 出现章节 | 一句话语境 |
|---|---|---|---|
| Matplotlib | 框架 | 前言 | 本书实验可视化所用的 Python 绘图库。 |
| Natural Language Processing with Python | 书 | 附录B | WordNet 和 NLTK 的进一步阅读。 |
| WordNet Interface | 框架 | 附录B.4 | 词义相似度方法的文档参考。 |
| Empirical evaluation of gated recurrent neural networks on sequence modeling | 论文 | 附录C.2 | LSTM 与 GRU 的经验比较研究。 |
| An empirical exploration of recurrent network architectures | 论文 | 附录C.2 | 不同循环网络结构的比较研究。 |
| WMT 翻译数据集 | 数据集 | 8.3.1 | 文中提到的机器翻译基准。 |
| Neural machine translation by jointly learning to align and translate | 论文 | 8.4.2 | 另一种注意力使用位置的参考研究。 |
| Effective approaches to attention-based neural machine translation | 论文 | 8.1.4 | 不同注意力评分方式的参考研究。 |
| A Neural Network for Machine Translation, at Production Scale | 文章 | 8.5.1 | 文中 GNMT 生产翻译评价的参考。 |
| Attention Is All You Need | 论文 | 8.5.2 | Transformer 的原始研究。 |
| Transformer: A Novel Neural Network Architecture for Language Understanding | 文章 | 8.5.2 | Transformer 结果图的参考。 |
| Convolutional Sequence to Sequence Learning | 论文 | 8.5.2 | 使用卷积代替循环的序列转换研究。 |
| Neural turing machines | 论文 | 8.5.3 | 使用可微外部记忆的研究。 |
| Hybrid computing using a neural network with dynamic external memory | 论文 | 8.5.3 | 可微分神经计算机的研究。 |
| Differentiable neural computers | 文章 | 8.5.3 | 外部记忆概念图的来源。 |
| Recurrent neural network regularization | 论文 | 7.1.3 | 文本生成示例参考的语言模型研究。 |
| Implementation of sequence to sequence learning for performing addition of two numbers | 源码项目 | 7.2.4 | 加法数据集制作参考。 |
| Sequence to sequence learning with neural networks | 论文 | 7.4.1 | 反转输入技巧的参考研究。 |
| Learning phrase representations using RNN encoder-decoder for statistical machine translation | 论文 | 7.4.2、附录C | 书中 Peeky 思路与 GRU 的参考文献。 |
| A neural conversational model | 论文 | 7.5.1 | 书中帮助台对话示例来源。 |
| Learning to execute | 论文 | 7.5.2 | 从程序文本学习输出的研究。 |
| Show and tell: A neural image caption generator | 论文 | 7.5.3 | 图像描述编码器解码器模型研究。 |
| Deep visual-semantic alignments for generating image descriptions | 论文 | 7.5.3 | 图像描述相关研究。 |
| Show and Tell: A Neural Image Caption Generator | 源码项目 | 7.5.3 | 文中自动图像描述例子的实现。 |
| Improving performance of recurrent neural network with relu nonlinearity | 论文 | 6.1.3 | 使用 ReLU 缓解循环网络训练问题的参考研究。 |
| On the difficulty of training recurrent neural networks | 论文 | 6.1.3 | 关于循环网络梯度问题的参考研究。 |
| Understanding LSTM Networks | 文章 | 6.2.2 | 本书说明 LSTM 结构时参考的讲解。 |
| Regularizing and optimizing LSTM language models | 论文 | 6.4、6.5.5 | 书中比较历史语言模型结果的研究。 |
| Dropout: a simple way to prevent neural networks from overfitting | 论文 | 6.5.2 | Dropout 的参考文献。 |
| A theoretically grounded application of dropout in recurrent neural networks | 论文 | 6.5.2 | 变分 Dropout 的参考研究。 |
| Using the output embedding to improve language models | 论文 | 6.5.3 | 权重共享的参考研究。 |
| Word-level language modeling RNN | 源码项目 | 6.5.4 | 学习率调整实现的参考项目。 |
| Google’s neural machine translation system: Bridging the gap between human and machine translation | 论文 | 6.5.1、8.5.1 | 多层 LSTM 的 GNMT 实例。 |
| A neural probabilistic language model | 论文 | 5.1.3 | 作为通过拼接上下文词向量保留顺序的模型参考。 |
| Efficient estimation of word representations in vector space | 论文 | 3.6 | word2vec 的原始研究之一。 |
| Distributed representations of words and phrases and their compositionality | 论文 | 3.6 | word2vec 与词组表示的原始研究之一。 |
| Don’t count, predict! A systematic comparison of context-counting vs. context-predicting semantic vectors | 论文 | 3.5.3 | 计数与预测方法的比较。 |
| Improving distributional similarity with lessons learned from word embeddings | 论文 | 3.5.3 | 讨论超参数对词相似度比较的影响。 |
| Neural word embedding as implicit matrix factorization | 论文 | 3.5.3 | 特定条件下预测法与矩阵分解的联系。 |
| GloVe: Global Vectors for Word Representation | 论文 | 3.2.3、3.5.3、4.4.2 | 输入输出权重组合和 GloVe 方法的参考文献。 |
| Tying Word Vectors and Word Classifiers: A Loss Framework for Language Modeling | 论文 | 3.2.3、6.5.3 | 本书列为词向量权重选择的参考文献。 |
| Word association norms, mutual information, and lexicography | 论文 | 2.4.1 | 词语关联与点互信息的参考文献。 |
| Indexing by latent semantic analysis | 论文 | 2.4.2 | 降维和奇异值分解的参考文献。 |
| scikit-learn | 框架 | 2.4.3、2.4.5 | 正文引用截断 SVD 工具并用于较大语料实验。 |
| Penn Treebank | 数据集 | 2.4.4–2.4.5 | 书中使用其预处理版本进行词向量实验。 |
| 精通正则表达式(第3版) | 书 | 2.3.1 | 正文推荐用于进一步了解正则表达式。 |
| IBM Watson | 框架 | 2.1 | 正文以问答竞赛为例提及其应用。 |
| CS224d: Deep Learning for Natural Language Processing | 课程 | 2.1 | 本章结构参考的斯坦福课程。 |
| WordNet: a lexical database for English | 论文 | 2.2 | WordNet 同义词词典的来源。 |
| NLTK | 框架 | 2.2 | 附录中用于运行 WordNet 的 Python 工具包。 |
| Deep learning with limited numerical precision | 论文 | 1.5.1 | 低精度神经网络计算的参考研究。 |
| In-datacenter performance analysis of a tensor processing unit | 论文 | 1.5.1 | TPU 与低位计算的参考研究。 |
| CuPy | 框架 | 前言、1.5.2 | GPU 数组计算库,书中同时引用其安装文档。 |
| NumPy(Broadcasting 文档) | 框架 | 前言、1.1.3 | 作为 NumPy 广播详细规则的参考资料。 |
| 深度学习入门:基于 Python 的理论与实现 | 书 | 译者序、前言、1.3.1、1.3.5、1.3.6 | 引导读者查阅 Softmax 损失和其他优化方法的细节。 |
| 100 numpy exercises | 源码项目 | 1.1.4 | 推荐通过练习积累 NumPy 使用经验,正文未展开。 |
资金安全问题案例
| 问题标题 | 问题卡 | 解决方案卡(如有) | 出现章节 | 一句话说明 |
|---|
实践卡进度
| 序号 | 实践标题 | 实践方式 | 状态 | 关联章节 | 产出 |
|---|---|---|---|---|---|
| 1 | 追踪负采样实现 | 实现深读 | done | 第4章 | ideas/idea-001-追踪负采样实现.md;首轮源码映射已准备 |
| 2 | 追踪注意力计算 | 实现深读 | done | 第8章 | ideas/idea-002-追踪注意力计算.md;首轮源码映射已准备 |
实践候选筛选:done。采用负采样与注意力两项实现深读:它们分别针对大词表计算与序列对齐,问题不同且配套实现可核验。未单独采用 WordNet 安装或重新实现基础 RNN:前者已有附录操作卡,后者可先通过成熟实现阅读理解,暂不增加重复任务。两张卡交付的是计划和首轮源码映射,完整深读与实验尚未执行。
相关主题
从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。
暂无公开主题。