来源书籍

深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)

Skill 版本:v24 212 张卡片

吴茂贵, 王红星 · 机械工业出版社 · 2021-11-11

章节与卡片

00

3 张卡片
  1. Embedding的技术背景 理解等级:初级 普通读书笔记卡
  2. 本书的写作初衷 理解等级:初级 普通读书笔记卡
  3. 循序渐进学习路径 理解等级:初级 普通读书笔记卡

01 第1章 万物皆可嵌入

20 张卡片
  1. 万物皆可嵌入 理解等级:初级 普通读书笔记卡
  2. 序列问题一般步骤 理解等级:初级 普通读书笔记卡
  3. 词嵌入的由来与获取 理解等级:初级 普通读书笔记卡
  4. CBOW模型 理解等级:中级 普通读书笔记卡
  5. Skip-Gram模型 理解等级:中级 普通读书笔记卡
  6. word2vec两模型对比 理解等级:中级 结构图卡
  7. Skip-Gram实现全流程 理解等级:高级 普通读书笔记卡
  8. Softmax两大优化策略 理解等级:高级 普通读书笔记卡
  9. Item Embedding与推荐落地 理解等级:中级 普通读书笔记卡
  10. 分类特征与实体嵌入 理解等级:中级 普通读书笔记卡
  11. Graph Embedding概述 理解等级:中级 普通读书笔记卡
  12. Graph Embedding方法谱系 理解等级:中级 结构图卡
  13. 三种经典图嵌入方法 理解等级:中级 普通读书笔记卡
  14. 阿里Graph Embedding实践 理解等级:中级 普通读书笔记卡
  15. 知识图谱辅助推荐 理解等级:中级 普通读书笔记卡
  16. 从静态词嵌入到预训练谱系 理解等级:初级 普通读书笔记卡
  17. 三种语言模型 理解等级:高级 普通读书笔记卡
  18. 主流预训练模型 理解等级:中级 普通读书笔记卡
  19. Transformer及其应用 理解等级:中级 普通读书笔记卡
  20. 中文自动摘要实例 理解等级:中级 操作参考卡

02 第2章 获取Embedding的方法

12 张卡片
  1. 三种嵌入获取途径 理解等级:初级 普通读书笔记卡
  2. 通过任务学习词嵌入步骤 理解等级:中级 结构图卡
  3. nn.Embedding语法格式 理解等级:中级 操作参考卡
  4. Embedding关键参数 理解等级:中级 操作参考卡
  5. 稀疏梯度与优化器 理解等级:高级 普通读书笔记卡
  6. 查找表与权重初始化 理解等级:中级 普通读书笔记卡
  7. TF2嵌入层语法与维度 理解等级:中级 操作参考卡
  8. 迁移学习与GloVe背景 理解等级:高级 普通读书笔记卡
  9. IMDB分词与数据准备 理解等级:中级 操作参考卡
  10. GloVe词向量矩阵构建 理解等级:中级 操作参考卡
  11. 加载并冻结嵌入层 理解等级:中级 操作参考卡
  12. 预训练效果对比与迁移 理解等级:高级 普通读书笔记卡

03 第3章 计算机视觉处理

11 张卡片
  1. 卷积神经网络整体架构 理解等级:中级 结构图卡
  2. 全连接处理高维的困境 理解等级:中级 普通读书笔记卡
  3. 增加通道与卷积核 理解等级:中级 普通读书笔记卡
  4. 卷积核由训练迭代求得 理解等级:中级 普通读书笔记卡
  5. 加深网络扩大感受野 理解等级:中级 普通读书笔记卡
  6. 残差连接缓解梯度消散 理解等级:高级 普通读书笔记卡
  7. 迁移学习复用已有模型 理解等级:中级 普通读书笔记卡
  8. 预训练模型使用的四种情形 理解等级:中级 普通读书笔记卡
  9. 获取预训练模型的途径 理解等级:初级 普通读书笔记卡
  10. PyTorch特征提取实例 理解等级:中级 操作参考卡
  11. PyTorch微调实例 理解等级:中级 操作参考卡

04 第4章 文本及序列处理

7 张卡片
  1. 标准循环神经网络 理解等级:中级 普通读书笔记卡
  2. 深度循环神经网络 理解等级:初级 普通读书笔记卡
  3. LSTM的门控机制 理解等级:中级 普通读书笔记卡
  4. GRU的双门简化 理解等级:中级 普通读书笔记卡
  5. 双向循环神经网络 理解等级:中级 普通读书笔记卡
  6. 三种循环网络门控对比 理解等级:高级 结构图卡
  7. 编码解码与Seq2Seq 理解等级:中级 普通读书笔记卡

05 第5章 注意力机制

30 张卡片
  1. 注意力源于人类视觉 理解等级:初级 普通读书笔记卡
  2. 软硬注意力之分 理解等级:中级 普通读书笔记卡
  3. 注意力的QKV本质 理解等级:中级 普通读书笔记卡
  4. 注意力计算三阶段 理解等级:中级 普通读书笔记卡
  5. 注意力计算架构 理解等级:中级 结构图卡
  6. 分心模型的局限 理解等级:初级 普通读书笔记卡
  7. 从固定C到动态Ci 理解等级:中级 普通读书笔记卡
  8. 注意力分配值的计算 理解等级:中级 普通读书笔记卡
  9. 注意力解码器实现 理解等级:中级 操作参考卡
  10. Transformer顶层架构 理解等级:中级 普通读书笔记卡
  11. Transformer整体架构 理解等级:中级 结构图卡
  12. 位置编码补时序 理解等级:中级 普通读书笔记卡
  13. 自注意力计算步骤 理解等级:中级 普通读书笔记卡
  14. 缩放点积注意力矩阵化 理解等级:中级 普通读书笔记卡
  15. 两种掩码机制 理解等级:高级 普通读书笔记卡
  16. 多头注意力机制 理解等级:中级 普通读书笔记卡
  17. 高并发与长记忆 理解等级:高级 普通读书笔记卡
  18. 残差连接与归一化 理解等级:中级 普通读书笔记卡
  19. 自监督学习收尾 理解等级:初级 普通读书笔记卡
  20. 编码器解码器与子层实现 理解等级:中级 操作参考卡
  21. 解码器层与后续掩码实现 理解等级:中级 操作参考卡
  22. 注意力函数与多头实现 理解等级:中级 操作参考卡
  23. 位置编码实现 理解等级:中级 操作参考卡
  24. 模型组装与训练技巧 理解等级:高级 操作参考卡
  25. Transformer-XL循环机制 理解等级:中级 普通读书笔记卡
  26. 相对位置编码 理解等级:高级 普通读书笔记卡
  27. XL评估与依赖长度 理解等级:高级 普通读书笔记卡
  28. XL与Reformer对比 理解等级:高级 结构图卡
  29. 局部敏感哈希 理解等级:高级 普通读书笔记卡
  30. 可逆残差网络 理解等级:高级 普通读书笔记卡

06 第6章 从Word Embedding到ELMo

6 张卡片
  1. 静态词嵌入的一词多义困境 理解等级:初级 普通读书笔记卡
  2. ELMo动态词表示机制 理解等级:高级 普通读书笔记卡
  3. ELMo整体处理流程 理解等级:中级 结构图卡
  4. 字符编码层结构 理解等级:中级 普通读书笔记卡
  5. 双向语言模型与参数共享 理解等级:高级 普通读书笔记卡
  6. 生成ELMo词嵌入 理解等级:高级 普通读书笔记卡

07 第7章 从ELMo到BERT和GPT

12 张卡片
  1. ELMo的得与失 理解等级:初级 普通读书笔记卡
  2. BERT整体架构 理解等级:中级 普通读书笔记卡
  3. BERT的三重嵌入 理解等级:中级 普通读书笔记卡
  4. 掩码语言模型 理解等级:高级 普通读书笔记卡
  5. 下一句预测任务 理解等级:中级 普通读书笔记卡
  6. BERT微调与特征提取 理解等级:中级 普通读书笔记卡
  7. PyTorch搭建BERT 理解等级:中级 普通读书笔记卡
  8. GPT的建模与架构 理解等级:中级 普通读书笔记卡
  9. GPT-2多头与遮掩注意力 理解等级:高级 普通读书笔记卡
  10. GPT与GPT-2之别 理解等级:中级 普通读书笔记卡
  11. GPT-3范式 理解等级:高级 普通读书笔记卡
  12. BERT与GPT架构对照 理解等级:中级 结构图卡

08 第8章 BERT的优化方法

9 张卡片
  1. 排列语言模型 理解等级:高级 普通读书笔记卡
  2. 双流自注意力 理解等级:高级 普通读书笔记卡
  3. XLNet的循环与相对编码 理解等级:中级 普通读书笔记卡
  4. ALBERT分解嵌入与跨层共享 理解等级:高级 普通读书笔记卡
  5. SOP替代NSP 理解等级:中级 普通读书笔记卡
  6. ELECTRA与RTD 理解等级:中级 普通读书笔记卡
  7. ELECTRA损失与GAN之别 理解等级:高级 普通读书笔记卡
  8. ELECTRA评估 理解等级:中级 普通读书笔记卡
  9. BERT优化方法图谱 理解等级:中级 结构图卡

09 第9章 推荐系统

8 张卡片
  1. 推荐系统的本质 理解等级:初级 普通读书笔记卡
  2. 召回与排序两阶段 理解等级:中级 普通读书笔记卡
  3. 主流推荐算法谱系 理解等级:中级 普通读书笔记卡
  4. 显式反馈与隐式反馈 理解等级:中级 普通读书笔记卡
  5. 基于用户的协同过滤 理解等级:中级 普通读书笔记卡
  6. 基于物品的协同过滤 理解等级:中级 普通读书笔记卡
  7. NCF与NeuMF 理解等级:高级 普通读书笔记卡
  8. 深度学习推荐模型谱系 理解等级:中级 结构图卡

10 第10章 用Embedding表现分类特征

11 张卡片
  1. 心脏病诊断项目背景 理解等级:初级 普通读书笔记卡
  2. 克利夫兰心脏病数据集 理解等级:初级 普通读书笔记卡
  3. 特征处理流程总览 理解等级:中级 结构图卡
  4. 导入库与读取CSV 理解等级:中级 操作参考卡
  5. 拆分训练验证测试集 理解等级:中级 操作参考卡
  6. tf.data输入流水线 理解等级:中级 普通读书笔记卡
  7. 数值列与分桶处理 理解等级:中级 普通读书笔记卡
  8. 分类列独热与Embedding 理解等级:高级 普通读书笔记卡
  9. 哈希分桶与特征组合 理解等级:高级 普通读书笔记卡
  10. 选择拼接特征与输入层 理解等级:中级 普通读书笔记卡
  11. 构建编译训练与评估 理解等级:中级 普通读书笔记卡

11 第11章 用Embedding提升机器学习性能

14 张卡片
  1. 项目双维度对比设计 理解等级:中级 普通读书笔记卡
  2. 罗斯曼历史销售数据集 理解等级:初级 普通读书笔记卡
  3. CSV字典化与空值填充 理解等级:中级 操作参考卡
  4. 时间特征拆分与标签化 理解等级:中级 普通读书笔记卡
  5. 公共函数与评估指标 理解等级:中级 操作参考卡
  6. 实验整体架构 理解等级:中级 结构图卡
  7. 独热编码神经网络 理解等级:中级 普通读书笔记卡
  8. 实体嵌入神经网络 理解等级:高级 普通读书笔记卡
  9. 嵌入向量的保存与复用 理解等级:高级 操作参考卡
  10. 树模型为何用标签化输入 理解等级:高级 普通读书笔记卡
  11. XGBoost基准模型 理解等级:中级 普通读书笔记卡
  12. 嵌入数据驱动的XGBoost 理解等级:高级 普通读书笔记卡
  13. t-SNE可视化嵌入 理解等级:中级 普通读书笔记卡
  14. Embedding性能提升结论 理解等级:高级 普通读书笔记卡

12 第12章 用Transformer实现英译中

21 张卡片
  1. 实例目标与实现流程 理解等级:初级 普通读书笔记卡
  2. 输入数据格式与预处理步骤 理解等级:中级 普通读书笔记卡
  3. 数据下载与数据集划分 理解等级:中级 普通读书笔记卡
  4. 中英子词字典与断词 理解等级:中级 普通读书笔记卡
  5. 编码与长度过滤 理解等级:中级 普通读书笔记卡
  6. 训练与验证数据管道 理解等级:中级 普通读书笔记卡
  7. Transformer英译中总体架构 理解等级:中级 结构图卡
  8. 编码器解码器堆叠 理解等级:中级 结构图卡
  9. 缩放点积注意力 理解等级:中级 普通读书笔记卡
  10. 多头注意力模块实现 理解等级:中级 普通读书笔记卡
  11. 逐点前馈网络 理解等级:初级 普通读书笔记卡
  12. 编码器层与编码器 理解等级:中级 普通读书笔记卡
  13. 解码器层与解码器 理解等级:中级 普通读书笔记卡
  14. 完整Transformer模型 理解等级:中级 普通读书笔记卡
  15. 位置编码 理解等级:中级 普通读书笔记卡
  16. 掩码机制 理解等级:高级 普通读书笔记卡
  17. 带掩码的交叉熵损失 理解等级:中级 普通读书笔记卡
  18. 动态学习率与Adam优化器 理解等级:高级 普通读书笔记卡
  19. 训练流程与checkpoint 理解等级:高级 普通读书笔记卡
  20. 自回归翻译与评估 理解等级:高级 普通读书笔记卡
  21. 注意力权重可视化 理解等级:初级 普通读书笔记卡

13 第13章 Embedding技术在推荐系统中的应用

6 张卡片
  1. Airbnb实时个性化向量空间 理解等级:初级 普通读书笔记卡
  2. 点击会话与短期偏好 理解等级:中级 普通读书笔记卡
  3. 预订会话与长期偏好 理解等级:高级 普通读书笔记卡
  4. 业务目标融入Embedding 理解等级:高级 普通读书笔记卡
  5. 阿里BST行为序列建模 理解等级:高级 普通读书笔记卡
  6. 美团MT-BERT知识增强 理解等级:高级 普通读书笔记卡

14 第14章 用BERT实现中文语句分类

14 张卡片
  1. 中文BERT与transformers库 理解等级:初级 普通读书笔记卡
  2. WordPiece词块切分 理解等级:中级 普通读书笔记卡
  3. BERT五大特殊标识符 理解等级:初级 普通读书笔记卡
  4. 掩码填词预测实例 理解等级:中级 普通读书笔记卡
  5. BertViz头视图可视化 理解等级:中级 普通读书笔记卡
  6. BERT文本分类流程 理解等级:中级 结构图卡
  7. 假新闻分类任务 理解等级:中级 普通读书笔记卡
  8. 样本清洗与类别基线 理解等级:中级 普通读书笔记卡
  9. BERT输入三张量 理解等级:中级 普通读书笔记卡
  10. FakeNewsDataset数据类 理解等级:中级 普通读书笔记卡
  11. 批量填充与掩码张量 理解等级:中级 普通读书笔记卡
  12. BERT分类微调模型 理解等级:中级 普通读书笔记卡
  13. 训练循环与预测函数 理解等级:中级 普通读书笔记卡
  14. 测试与注意力分析 理解等级:高级 普通读书笔记卡

15 第15章 用GPT-2生成文本

8 张卡片
  1. GPT-2单向Transformer 理解等级:中级 普通读书笔记卡
  2. GPT-2无监督下游处理 理解等级:中级 普通读书笔记卡
  3. 提示续写与常识推理 理解等级:初级 普通读书笔记卡
  4. top-k随机采样 理解等级:中级 普通读书笔记卡
  5. GPT-2新闻生成流程 理解等级:中级 普通读书笔记卡
  6. GPT-2文本生成流程 理解等级:中级 结构图卡
  7. 戏剧文本微调流程 理解等级:中级 普通读书笔记卡
  8. Encoder与Decoder分工 理解等级:初级 普通读书笔记卡

16 第16章 Embedding技术总结

4 张卡片
  1. Embedding的四重意义 理解等级:中级 普通读书笔记卡
  2. 静态到动态表示 理解等级:中级 普通读书笔记卡
  3. Embedding衍生与交叉 理解等级:中级 普通读书笔记卡
  4. Embedding不足与优化 理解等级:高级 普通读书笔记卡

appa

14 张卡片
  1. 升级前环境分析 理解等级:中级 操作参考卡
  2. 驱动与CUDA对应 理解等级:中级 操作参考卡
  3. PPA升级显卡驱动 理解等级:中级 操作参考卡
  4. 安装Python3.7 理解等级:中级 操作参考卡
  5. conda装TF2 理解等级:中级 操作参考卡
  6. pip装TF2 理解等级:中级 操作参考卡
  7. Jupyter远程配置 理解等级:中级 操作参考卡
  8. TF2GPU安装验证 理解等级:初级 操作参考卡
  9. MNIST建模流程 理解等级:中级 操作参考卡
  10. 镜像策略原理 理解等级:中级 普通读书笔记卡
  11. 分布式训练实施 理解等级:中级 操作参考卡
  12. conda装TF优势 理解等级:高级 普通读书笔记卡
  13. PyTorchGPU安装 理解等级:中级 操作参考卡
  14. 清华镜像改源 理解等级:中级 问题卡

appb

2 张卡片
  1. PTM三类语言模型 理解等级:中级 普通读书笔记卡
  2. 自编码语言模型 理解等级:高级 普通读书笔记卡

全书概览

《深入浅出Embedding:原理解析与应用实践》阅读概览

  • 书名:深入浅出Embedding:原理解析与应用实践
  • 作者:吴茂贵、王红星
  • 出版社:机械工业出版社,出版日期 2021-11-11
  • 执行模式:light
  • 建档 Skill 版本:v24
  • 建档进度:done
  • 优先级:P4
  • 评级:经典原理(高信息浓度 + 高稳定性:Embedding/注意力/预训练模型机制稳定可迁移,工程细节按当时框架版本)
  • 内容形态:概念解析型为主体,第二部分(第10—15章)为操作手册型实例
  • 原书:books/20260910/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星) .epub
  • 已读正文:前言 + 第1—16章 + 附录A/B(共 19 个实质单元;第一部分/第二部分扉页为非正文排除)
  • 整书笔记:_book_note.md(23 sections / 212 primary / 212 sources)
  • 阅读覆盖:_coverage.md
  • 知识卡:212 张(cards/)
  • 实践卡:3 张(ideas/)
  • 实践候选筛选:done

章节进度追踪表

章节号 章节标题 状态 卡片数
00 前言 done 3
01 第1章 万物皆可嵌入 done 20
02 第2章 获取Embedding的方法 done 12
03 第3章 计算机视觉处理 done 11
04 第4章 文本及序列处理 done 7
05 第5章 注意力机制 done 30
06 第6章 从Word Embedding到ELMo done 6
07 第7章 从ELMo到BERT和GPT done 12
08 第8章 BERT的优化方法 done 9
09 第9章 推荐系统 done 8
10 第10章 用Embedding表现分类特征 done 11
11 第11章 用Embedding提升机器学习性能 done 14
12 第12章 用Transformer实现英译中 done 21
13 第13章 Embedding技术在推荐系统中的应用 done 6
14 第14章 用BERT实现中文语句分类 done 14
15 第15章 用GPT-2生成文本 done 8
16 第16章 Embedding技术总结 done 4
A 附录A 基于GPU的环境升级安装 done 14
B 附录B 语言模型 done 2

非正文排除

spine项 类型 排除理由
titlepage.xhtml 书名页 无正文
copyright.xhtml 版权页 无正文
TOC.xhtml 目录 纯目录
Chapter3.xhtml 第一部分扉页 分区标题页,无实质讲解
Chapter13.xhtml 第二部分扉页 分区标题页,无实质讲解

实践卡进度

序号 实践标题 实践方式 状态 关联章节 产出
1 词向量对比实验 实验复现 done 第1—2章 ideas/idea-001
2 注意力可视化 可视化分析 done 第5/14章 ideas/idea-002
3 表格数据嵌入增益复现 实验复现 done 第10—11章 ideas/idea-003

实践候选筛选:done

相关主题

从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。

暂无公开主题。