来源书籍

深度学习进阶:自然语言处理

Skill 版本:v24 经典原理(高信息浓度 + 高稳定性) 128 张卡片

书中以共现与 PPMI、反向传播、门控和注意力解释机制,并实现模型;核心数学与算法具有迁移价值,Python 库版本、实验结果和研究前沿有时效性。工具版本、实验结果和研究前沿应结合出版年代理解。 [整书笔记](_book_note.md)|[阅读覆盖](_coverage.md)|[工作流交接](_workflow.md)

斋藤康毅 · 陆宇杰 译 · 人民邮电出版社 · 2020 · ISBN 978-7-115-54764-4

章节与卡片

01 神经网络的复习

33 张卡片
  1. 逐元素与矩阵乘积 理解等级:中级 普通读书笔记卡
  2. 矩阵乘积的形状检查 理解等级:中级 普通读书笔记卡
  3. 广播与偏置 理解等级:中级 普通读书笔记卡
  4. 激活函数引入非线性 理解等级:中级 普通读书笔记卡
  5. 交叉熵衡量分类损失 理解等级:中级 普通读书笔记卡
  6. 链式法则与反向传播 理解等级:中级 普通读书笔记卡
  7. 复制与求和的反向传播 理解等级:中级 普通读书笔记卡
  8. 矩阵乘法反向传播 理解等级:中级 普通读书笔记卡
  9. 随机梯度下降更新 理解等级:中级 普通读书笔记卡
  10. 小批量仿射变换 理解等级:中级 普通读书笔记卡
  11. 层接口统一参数管理 理解等级:中级 普通读书笔记卡
  12. 梯度数组原位更新 理解等级:中级 普通读书笔记卡
  13. 分类损失的输出梯度 理解等级:中级 普通读书笔记卡
  14. 训练与泛化评估 理解等级:中级 普通读书笔记卡
  15. 训练循环与轮次 理解等级:中级 普通读书笔记卡
  16. 计算精度与资源权衡 理解等级:中级 普通读书笔记卡
  17. GPU并行与数组接口 理解等级:中级 普通读书笔记卡
  18. 数组维度与形状 理解等级:中级 普通读书笔记卡
  19. 梯度与参数更新 理解等级:中级 普通读书笔记卡
  20. 非线性分类的实验 理解等级:中级 普通读书笔记卡
  21. Softmax归一化得分 理解等级:中级 普通读书笔记卡
  22. Sigmoid的反向传播 理解等级:中级 普通读书笔记卡
  23. 加法乘法节点反传 理解等级:中级 普通读书笔记卡
  24. 向量内积 理解等级:中级 普通读书笔记卡
  25. 独热编码表示类别 理解等级:中级 普通读书笔记卡
  26. 训练器分离训练循环 理解等级:中级 普通读书笔记卡
  27. 分类得分与概率 理解等级:中级 普通读书笔记卡
  28. 仿射层偏置梯度 理解等级:中级 普通读书笔记卡
  29. 两层网络的层组合 理解等级:中级 结构图卡
  30. 全连接层与层数 理解等级:初级 普通读书笔记卡
  31. 计算图表达反向传播 理解等级:中级 普通读书笔记卡
  32. 优化器接口分离更新 理解等级:中级 普通读书笔记卡
  33. 神经网络初始化示例 理解等级:初级 普通读书笔记卡

02 自然语言和单词的分布式表示

14 张卡片
  1. 词典网络表示词义 理解等级:中级 普通读书笔记卡
  2. 语料预处理与词ID 理解等级:中级 普通读书笔记卡
  3. 分布式假设与上下文 理解等级:中级 普通读书笔记卡
  4. 词语共现矩阵 理解等级:中级 普通读书笔记卡
  5. 余弦相似度比较方向 理解等级:中级 普通读书笔记卡
  6. 点互信息修正高频词 理解等级:中级 普通读书笔记卡
  7. 正点互信息截断负值 理解等级:中级 普通读书笔记卡
  8. SVD压缩词向量 理解等级:中级 普通读书笔记卡
  9. 语料规模影响相似词 理解等级:中级 普通读书笔记卡
  10. 自然语言处理的挑战 理解等级:初级 普通读书笔记卡
  11. 单词的分布式表示 理解等级:初级 普通读书笔记卡
  12. 按相似度检索词语 理解等级:中级 普通读书笔记卡
  13. PTB语料的预处理 理解等级:中级 普通读书笔记卡
  14. 随机截断奇异值分解 理解等级:中级 普通读书笔记卡

03 word2vec

12 张卡片
  1. 预测任务学习词向量 理解等级:中级 普通读书笔记卡
  2. 独热向量选取权重行 理解等级:中级 普通读书笔记卡
  3. CBOW上下文预测词 理解等级:中级 普通读书笔记卡
  4. 上下文目标词样本 理解等级:中级 普通读书笔记卡
  5. 共享参数合并梯度 理解等级:中级 普通读书笔记卡
  6. CBOW与SkipGram 理解等级:中级 普通读书笔记卡
  7. 计数法与预测法比较 理解等级:中级 普通读书笔记卡
  8. 词向量依赖语料 理解等级:中级 普通读书笔记卡
  9. 词向量的输入输出权重 理解等级:中级 普通读书笔记卡
  10. CBOW的负对数似然 理解等级:中级 普通读书笔记卡
  11. GloVe融合统计与学习 理解等级:中级 延伸参考卡
  12. SimpleCBOW层组合 理解等级:中级 结构图卡

04 word2vec 的高速化

12 张卡片
  1. Embedding按词ID查表 理解等级:中级 普通读书笔记卡
  2. 重复词ID的梯度累加 理解等级:中级 普通读书笔记卡
  3. 负采样降低输出计算 理解等级:中级 普通读书笔记卡
  4. 负采样分布平滑 理解等级:中级 普通读书笔记卡
  5. 候选词嵌入点积计分 理解等级:中级 普通读书笔记卡
  6. 二分类交叉熵 理解等级:中级 普通读书笔记卡
  7. 词向量的类推运算 理解等级:中级 普通读书笔记卡
  8. 预训练词向量迁移 理解等级:中级 普通读书笔记卡
  9. 词向量评估的边界 理解等级:中级 普通读书笔记卡
  10. 词袋表示丢失顺序 理解等级:中级 普通读书笔记卡
  11. 负采样层的组合 理解等级:中级 结构图卡
  12. 改进CBOW的层组合 理解等级:中级 结构图卡

05 RNN

14 张卡片
  1. 语言模型的序列概率 理解等级:中级 普通读书笔记卡
  2. 固定窗口的上下文限制 理解等级:中级 普通读书笔记卡
  3. 循环网络的隐藏状态 理解等级:中级 普通读书笔记卡
  4. 时间展开的反向传播 理解等级:中级 普通读书笔记卡
  5. 截断BPTT保留前向状态 理解等级:中级 普通读书笔记卡
  6. 截断训练的批次偏移 理解等级:中级 普通读书笔记卡
  7. RNN逐步更新状态 理解等级:中级 普通读书笔记卡
  8. 状态跨块继承与重置 理解等级:中级 普通读书笔记卡
  9. 跨时刻共享参数梯度 理解等级:中级 普通读书笔记卡
  10. RNN语言模型的层次 理解等级:中级 普通读书笔记卡
  11. 语言模型困惑度 理解等级:中级 普通读书笔记卡
  12. TimeRNN的时间展开 理解等级:中级 结构图卡
  13. RNN语言模型的组合 理解等级:中级 结构图卡
  14. Xavier权重初始化 理解等级:中级 普通读书笔记卡

06 Gated RNN

12 张卡片
  1. 循环网络梯度不稳定 理解等级:中级 普通读书笔记卡
  2. 梯度范数裁剪 理解等级:中级 普通读书笔记卡
  3. LSTM记忆单元与门 理解等级:中级 普通读书笔记卡
  4. LSTM记忆的梯度路径 理解等级:中级 普通读书笔记卡
  5. 合并LSTM门的计算 理解等级:中级 普通读书笔记卡
  6. LSTM跨块传递双状态 理解等级:中级 普通读书笔记卡
  7. 循环网络的Dropout 理解等级:中级 普通读书笔记卡
  8. 词嵌入与输出权重共享 理解等级:中级 普通读书笔记卡
  9. 验证集指导学习率 理解等级:中级 普通读书笔记卡
  10. TimeLSTM的状态管理 理解等级:中级 结构图卡
  11. 多层LSTM的表示 理解等级:中级 普通读书笔记卡
  12. 改进语言模型的组合 理解等级:中级 结构图卡

07 基于 RNN 生成文本

10 张卡片
  1. 语言模型逐词生成 理解等级:中级 普通读书笔记卡
  2. 编码器解码器转换序列 理解等级:中级 普通读书笔记卡
  3. 变长序列填充与掩码 理解等级:中级 普通读书笔记卡
  4. 生成与训练的数据划分 理解等级:中级 普通读书笔记卡
  5. 解码训练与生成的输入 理解等级:中级 普通读书笔记卡
  6. 反转输入缩短部分路径 理解等级:中级 普通读书笔记卡
  7. 重复提供编码信息 理解等级:中级 普通读书笔记卡
  8. 图像编码后生成描述 理解等级:中级 普通读书笔记卡
  9. Seq2seq的类组合 理解等级:中级 结构图卡
  10. 序列转换的应用 理解等级:初级 普通读书笔记卡

08 Attention

14 张卡片
  1. 固定向量的信息瓶颈 理解等级:中级 普通读书笔记卡
  2. 注意力的加权上下文 理解等级:中级 普通读书笔记卡
  3. 点积注意力权重 理解等级:中级 普通读书笔记卡
  4. 注意力反向梯度汇合 理解等级:中级 普通读书笔记卡
  5. 注意力权重可视化 理解等级:中级 普通读书笔记卡
  6. 双向循环编码 理解等级:中级 普通读书笔记卡
  7. 残差连接传递梯度 理解等级:中级 普通读书笔记卡
  8. 自注意力关联序列内部 理解等级:中级 普通读书笔记卡
  9. Transformer替代循环 理解等级:中级 普通读书笔记卡
  10. 外部记忆与可微寻址 理解等级:中级 普通读书笔记卡
  11. 注意力层的组合 理解等级:中级 结构图卡
  12. 注意力序列模型组合 理解等级:中级 结构图卡
  13. 注意力上下文的使用位置 理解等级:中级 普通读书笔记卡
  14. GNMT的模型结构 理解等级:中级 延伸参考卡

00 本书的理念

1 张卡片
  1. 从零实现加深理解 理解等级:中级 普通读书笔记卡

00 运行环境

1 张卡片
  1. Matplotlib实验可视化 理解等级:初级 延伸参考卡

09 sigmoid 函数和 tanh 函数的导数

1 张卡片
  1. tanh导数复用输出 理解等级:中级 普通读书笔记卡

10 运行 WordNet

3 张卡片
  1. WordNet按词义查询 理解等级:中级 普通读书笔记卡
  2. 词义网络的上位路径 理解等级:中级 普通读书笔记卡
  3. 使用NLTK查询WordNet 理解等级:中级 操作参考卡

11 GRU

1 张卡片
  1. GRU的重置与更新门 理解等级:中级 普通读书笔记卡

全书概览

《深度学习进阶:自然语言处理》概览

Skill 版本:v24(book-notes)

执行模式:light

建档进度:done

四象限结论:经典原理(高信息浓度 + 高稳定性)

理由:书中以共现与 PPMI、反向传播、门控和注意力解释机制,并实现模型;核心数学与算法具有迁移价值,Python 库版本、实验结果和研究前沿有时效性。工具版本、实验结果和研究前沿应结合出版年代理解。

整书笔记|阅读覆盖|工作流交接

章节进度追踪表

章节号 章节标题 状态 卡片数
01 神经网络的复习 done 33
02 自然语言和单词的分布式表示 done 14
03 word2vec done 12
04 word2vec 的高速化 done 12
05 RNN done 14
06 Gated RNN done 12
07 基于 RNN 生成文本 done 10
08 Attention done 14

Spine 阅读明细

下表按实际正文 spine 项列出;非正文见下方排除表。卡数按主要出处分配,补充出处不重复计数。

章节号 章节标题 状态 卡片数 来源
7 译者序 done 0 text/part0004.html
8 前言 done 0 text/part0005_split_000.html
9 本书的理念 done 1 text/part0005_split_001.html
10 进入自然语言处理的世界 done 0 text/part0005_split_002.html
11 本书面向的读者 done 0 text/part0005_split_003.html
12 本书不面向的读者 done 0 text/part0005_split_004.html
13 运行环境 done 1 text/part0005_split_005.html
14 再次出发 done 0 text/part0005_split_006.html
18 第 1 章 神经网络的复习 done 0 text/part0006_split_000.html
19 1.1 数学和 Python的复习 done 4 text/part0006_split_001.html
20 1.2 神经网络的推理 done 7 text/part0006_split_002.html
21 1.3 神经网络的学习 done 15 text/part0006_split_003.html
22 1.4 使用神经网络解决问题 done 5 text/part0006_split_004.html
23 1.5 计算的高速化 done 2 text/part0006_split_005.html
24 1.6 小结 done 0 text/part0006_split_006.html
25 第 2 章 自然语言和单词的分布式表示 done 0 text/part0007_split_000.html
26 2.1 什么是自然语言处理 done 1 text/part0007_split_001.html
27 2.2 同义词词典 done 1 text/part0007_split_002.html
28 2.3 基于计数的方法 done 7 text/part0007_split_003.html
29 2.4 基于计数的方法的改进 done 5 text/part0007_split_004.html
30 2.5 小结 done 0 text/part0007_split_005.html
31 第 3 章 word2vec done 0 text/part0008_split_000.html
32 3.1 基于推理的方法和神经网络 done 2 text/part0008_split_001.html
33 3.2 简单的 word2vec done 3 text/part0008_split_002.html
34 3.3 学习数据的准备 done 1 text/part0008_split_003.html
35 3.4 CBOW 模型的实现 done 2 text/part0008_split_004.html
36 3.5 word2vec的补充说明 done 4 text/part0008_split_005.html
37 3.6 小结 done 0 text/part0008_split_006.html
38 第 4 章 word2vec的高速化 done 0 text/part0009_split_000.html
39 4.1 word2vec的改进① done 2 text/part0009_split_001.html
40 4.2 word2vec的改进② done 5 text/part0009_split_002.html
41 4.3 改进版 word2vec 的学习 done 2 text/part0009_split_003.html
42 4.4 wor2vec相关的其他话题 done 3 text/part0009_split_004.html
43 4.5 小结 done 0 text/part0009_split_005.html
44 第 5 章 RNN done 0 text/part0010_split_000.html
45 5.1 概率和语言模型 done 2 text/part0010_split_001.html
46 5.2 RNN done 4 text/part0010_split_002.html
47 5.3 RNN的实现 done 4 text/part0010_split_003.html
48 5.4 处理时序数据的层的实现 done 1 text/part0010_split_004.html
49 5.5 RNNLM的学习和评价 done 3 text/part0010_split_005.html
50 5.6 小结 done 0 text/part0010_split_006.html
51 第 6 章 Gated RNN done 0 text/part0011_split_000.html
52 6.1 RNN的问题 done 2 text/part0011_split_001.html
53 6.2 梯度消失和 LSTM done 2 text/part0011_split_002.html
54 6.3 LSTM 的实现 done 3 text/part0011_split_003.html
55 6.4 使用 LSTM 的语言模型 done 0 text/part0011_split_004.html
56 6.5 进一步改进 RNNLM done 5 text/part0011_split_005.html
57 6.6 小结 done 0 text/part0011_split_006.html
58 第 7 章 基于 RNN 生成文本 done 0 text/part0012_split_000.html
59 7.1 使用语言模型生成文本 done 1 text/part0012_split_001.html
60 7.2 seq2seq 模型 done 3 text/part0012_split_002.html
61 7.3 seq2seq 的实现 done 2 text/part0012_split_003.html
62 7.4 seq2seq 的改进 done 2 text/part0012_split_004.html
63 7.5 seq2seq的应用 done 2 text/part0012_split_005.html
64 7.6 小结 done 0 text/part0012_split_006.html
65 第 8 章 Attention done 0 text/part0013_split_000.html
66 8.1 Attention 的结构 done 5 text/part0013_split_001.html
67 8.2 带 Attention 的 seq2seq的实现 done 1 text/part0013_split_002.html
68 8.3 Attention的评价 done 1 text/part0013_split_003.html
69 8.4 关于 Attention 的其他话题 done 3 text/part0013_split_004.html
70 8.5 Attention 的应用 done 4 text/part0013_split_005.html
71 8.6 小结 done 0 text/part0013_split_006.html
72 附录 A sigmoid 函数和 tanh 函数的导数 done 0 text/part0014_split_000.html
73 A.1 sigmoid函数 done 0 text/part0014_split_001.html
74 A.2 tanh 函数 done 1 text/part0014_split_002.html
75 A.3 小结 done 0 text/part0014_split_003.html
76 附录 B 运行 WordNet done 0 text/part0015_split_000.html
77 B.1 NLTK 的安装 done 1 text/part0015_split_001.html
78 B.2 使用 WordNet 获得同义词 done 1 text/part0015_split_002.html
79 B.3 WordNet 和单词网络 done 1 text/part0015_split_003.html
80 B.4 基于 WordNet 的语义相似度 done 0 text/part0015_split_004.html
81 附录 C GRU done 0 text/part0016_split_000.html
82 C.1 GRU 的接口 done 0 text/part0016_split_001.html
83 C.2 GRU 的计算图 done 1 text/part0016_split_002.html
84 后记 done 0 text/part0017_split_000.html
85 致谢 done 0 text/part0017_split_001.html

非正文排除

spine项 类型 排除理由
15 排版规则 字体、代码和提示样式约定,不构成主题正文。
16 读者服务 反馈渠道及主页联系方式。
17 电子书服务 购买电子版的说明。
1 封面 标题页,无正文讲解
2、4 版权页 书目信息与版权声明,保留为元数据依据
3、89 目录 标题与链接目录,不重复作为正文
5–6 出版方介绍及书评 介绍出版社和宣传评价,不属于本书知识正文
86 参考文献 文献清单,相关引用应登记而非作为章节讲解
87 作者简介 作者履历,无主题正文
88 读者服务页 联系方式与社交账号

待关联术语

术语名 出现章节 一句话语境
基于语言学的自然语言处理 译者序 译者列举研究范式,未进一步解释。
基于规则的自然语言处理 译者序 译者列举研究范式,未进一步解释。
AdaGrad 1.3.6 优化器文件中提供,正文未展开其机制。
Adam 1.3.6 与 SGD 并列提到的优化方法,本节未解释细节。

引用文献

标题 类型 出现章节 一句话语境
Matplotlib 框架 前言 本书实验可视化所用的 Python 绘图库。
Natural Language Processing with Python 书 附录B WordNet 和 NLTK 的进一步阅读。
WordNet Interface 框架 附录B.4 词义相似度方法的文档参考。
Empirical evaluation of gated recurrent neural networks on sequence modeling 论文 附录C.2 LSTM 与 GRU 的经验比较研究。
An empirical exploration of recurrent network architectures 论文 附录C.2 不同循环网络结构的比较研究。
WMT 翻译数据集 数据集 8.3.1 文中提到的机器翻译基准。
Neural machine translation by jointly learning to align and translate 论文 8.4.2 另一种注意力使用位置的参考研究。
Effective approaches to attention-based neural machine translation 论文 8.1.4 不同注意力评分方式的参考研究。
A Neural Network for Machine Translation, at Production Scale 文章 8.5.1 文中 GNMT 生产翻译评价的参考。
Attention Is All You Need 论文 8.5.2 Transformer 的原始研究。
Transformer: A Novel Neural Network Architecture for Language Understanding 文章 8.5.2 Transformer 结果图的参考。
Convolutional Sequence to Sequence Learning 论文 8.5.2 使用卷积代替循环的序列转换研究。
Neural turing machines 论文 8.5.3 使用可微外部记忆的研究。
Hybrid computing using a neural network with dynamic external memory 论文 8.5.3 可微分神经计算机的研究。
Differentiable neural computers 文章 8.5.3 外部记忆概念图的来源。
Recurrent neural network regularization 论文 7.1.3 文本生成示例参考的语言模型研究。
Implementation of sequence to sequence learning for performing addition of two numbers 源码项目 7.2.4 加法数据集制作参考。
Sequence to sequence learning with neural networks 论文 7.4.1 反转输入技巧的参考研究。
Learning phrase representations using RNN encoder-decoder for statistical machine translation 论文 7.4.2、附录C 书中 Peeky 思路与 GRU 的参考文献。
A neural conversational model 论文 7.5.1 书中帮助台对话示例来源。
Learning to execute 论文 7.5.2 从程序文本学习输出的研究。
Show and tell: A neural image caption generator 论文 7.5.3 图像描述编码器解码器模型研究。
Deep visual-semantic alignments for generating image descriptions 论文 7.5.3 图像描述相关研究。
Show and Tell: A Neural Image Caption Generator 源码项目 7.5.3 文中自动图像描述例子的实现。
Improving performance of recurrent neural network with relu nonlinearity 论文 6.1.3 使用 ReLU 缓解循环网络训练问题的参考研究。
On the difficulty of training recurrent neural networks 论文 6.1.3 关于循环网络梯度问题的参考研究。
Understanding LSTM Networks 文章 6.2.2 本书说明 LSTM 结构时参考的讲解。
Regularizing and optimizing LSTM language models 论文 6.4、6.5.5 书中比较历史语言模型结果的研究。
Dropout: a simple way to prevent neural networks from overfitting 论文 6.5.2 Dropout 的参考文献。
A theoretically grounded application of dropout in recurrent neural networks 论文 6.5.2 变分 Dropout 的参考研究。
Using the output embedding to improve language models 论文 6.5.3 权重共享的参考研究。
Word-level language modeling RNN 源码项目 6.5.4 学习率调整实现的参考项目。
Google’s neural machine translation system: Bridging the gap between human and machine translation 论文 6.5.1、8.5.1 多层 LSTM 的 GNMT 实例。
A neural probabilistic language model 论文 5.1.3 作为通过拼接上下文词向量保留顺序的模型参考。
Efficient estimation of word representations in vector space 论文 3.6 word2vec 的原始研究之一。
Distributed representations of words and phrases and their compositionality 论文 3.6 word2vec 与词组表示的原始研究之一。
Don’t count, predict! A systematic comparison of context-counting vs. context-predicting semantic vectors 论文 3.5.3 计数与预测方法的比较。
Improving distributional similarity with lessons learned from word embeddings 论文 3.5.3 讨论超参数对词相似度比较的影响。
Neural word embedding as implicit matrix factorization 论文 3.5.3 特定条件下预测法与矩阵分解的联系。
GloVe: Global Vectors for Word Representation 论文 3.2.3、3.5.3、4.4.2 输入输出权重组合和 GloVe 方法的参考文献。
Tying Word Vectors and Word Classifiers: A Loss Framework for Language Modeling 论文 3.2.3、6.5.3 本书列为词向量权重选择的参考文献。
Word association norms, mutual information, and lexicography 论文 2.4.1 词语关联与点互信息的参考文献。
Indexing by latent semantic analysis 论文 2.4.2 降维和奇异值分解的参考文献。
scikit-learn 框架 2.4.3、2.4.5 正文引用截断 SVD 工具并用于较大语料实验。
Penn Treebank 数据集 2.4.4–2.4.5 书中使用其预处理版本进行词向量实验。
精通正则表达式(第3版) 书 2.3.1 正文推荐用于进一步了解正则表达式。
IBM Watson 框架 2.1 正文以问答竞赛为例提及其应用。
CS224d: Deep Learning for Natural Language Processing 课程 2.1 本章结构参考的斯坦福课程。
WordNet: a lexical database for English 论文 2.2 WordNet 同义词词典的来源。
NLTK 框架 2.2 附录中用于运行 WordNet 的 Python 工具包。
Deep learning with limited numerical precision 论文 1.5.1 低精度神经网络计算的参考研究。
In-datacenter performance analysis of a tensor processing unit 论文 1.5.1 TPU 与低位计算的参考研究。
CuPy 框架 前言、1.5.2 GPU 数组计算库,书中同时引用其安装文档。
NumPy(Broadcasting 文档) 框架 前言、1.1.3 作为 NumPy 广播详细规则的参考资料。
深度学习入门:基于 Python 的理论与实现 书 译者序、前言、1.3.1、1.3.5、1.3.6 引导读者查阅 Softmax 损失和其他优化方法的细节。
100 numpy exercises 源码项目 1.1.4 推荐通过练习积累 NumPy 使用经验,正文未展开。

资金安全问题案例

问题标题 问题卡 解决方案卡(如有) 出现章节 一句话说明

实践卡进度

序号 实践标题 实践方式 状态 关联章节 产出
1 追踪负采样实现 实现深读 done 第4章 ideas/idea-001-追踪负采样实现.md;首轮源码映射已准备
2 追踪注意力计算 实现深读 done 第8章 ideas/idea-002-追踪注意力计算.md;首轮源码映射已准备

实践候选筛选:done。采用负采样与注意力两项实现深读:它们分别针对大词表计算与序列对齐,问题不同且配套实现可核验。未单独采用 WordNet 安装或重新实现基础 RNN:前者已有附录操作卡,后者可先通过成熟实现阅读理解,暂不增加重复任务。两张卡交付的是计划和首轮源码映射,完整深读与实验尚未执行。

相关主题

从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。

暂无公开主题。