来源书籍
深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)
章节与卡片
00
3 张卡片
- Embedding的技术背景 理解等级:初级 普通读书笔记卡
- 本书的写作初衷 理解等级:初级 普通读书笔记卡
- 循序渐进学习路径 理解等级:初级 普通读书笔记卡
01 第1章 万物皆可嵌入
20 张卡片
- 万物皆可嵌入 理解等级:初级 普通读书笔记卡
- 序列问题一般步骤 理解等级:初级 普通读书笔记卡
- 词嵌入的由来与获取 理解等级:初级 普通读书笔记卡
- CBOW模型 理解等级:中级 普通读书笔记卡
- Skip-Gram模型 理解等级:中级 普通读书笔记卡
- word2vec两模型对比 理解等级:中级 结构图卡
- Skip-Gram实现全流程 理解等级:高级 普通读书笔记卡
- Softmax两大优化策略 理解等级:高级 普通读书笔记卡
- Item Embedding与推荐落地 理解等级:中级 普通读书笔记卡
- 分类特征与实体嵌入 理解等级:中级 普通读书笔记卡
- Graph Embedding概述 理解等级:中级 普通读书笔记卡
- Graph Embedding方法谱系 理解等级:中级 结构图卡
- 三种经典图嵌入方法 理解等级:中级 普通读书笔记卡
- 阿里Graph Embedding实践 理解等级:中级 普通读书笔记卡
- 知识图谱辅助推荐 理解等级:中级 普通读书笔记卡
- 从静态词嵌入到预训练谱系 理解等级:初级 普通读书笔记卡
- 三种语言模型 理解等级:高级 普通读书笔记卡
- 主流预训练模型 理解等级:中级 普通读书笔记卡
- Transformer及其应用 理解等级:中级 普通读书笔记卡
- 中文自动摘要实例 理解等级:中级 操作参考卡
02 第2章 获取Embedding的方法
12 张卡片
- 三种嵌入获取途径 理解等级:初级 普通读书笔记卡
- 通过任务学习词嵌入步骤 理解等级:中级 结构图卡
- nn.Embedding语法格式 理解等级:中级 操作参考卡
- Embedding关键参数 理解等级:中级 操作参考卡
- 稀疏梯度与优化器 理解等级:高级 普通读书笔记卡
- 查找表与权重初始化 理解等级:中级 普通读书笔记卡
- TF2嵌入层语法与维度 理解等级:中级 操作参考卡
- 迁移学习与GloVe背景 理解等级:高级 普通读书笔记卡
- IMDB分词与数据准备 理解等级:中级 操作参考卡
- GloVe词向量矩阵构建 理解等级:中级 操作参考卡
- 加载并冻结嵌入层 理解等级:中级 操作参考卡
- 预训练效果对比与迁移 理解等级:高级 普通读书笔记卡
03 第3章 计算机视觉处理
11 张卡片
- 卷积神经网络整体架构 理解等级:中级 结构图卡
- 全连接处理高维的困境 理解等级:中级 普通读书笔记卡
- 增加通道与卷积核 理解等级:中级 普通读书笔记卡
- 卷积核由训练迭代求得 理解等级:中级 普通读书笔记卡
- 加深网络扩大感受野 理解等级:中级 普通读书笔记卡
- 残差连接缓解梯度消散 理解等级:高级 普通读书笔记卡
- 迁移学习复用已有模型 理解等级:中级 普通读书笔记卡
- 预训练模型使用的四种情形 理解等级:中级 普通读书笔记卡
- 获取预训练模型的途径 理解等级:初级 普通读书笔记卡
- PyTorch特征提取实例 理解等级:中级 操作参考卡
- PyTorch微调实例 理解等级:中级 操作参考卡
04 第4章 文本及序列处理
7 张卡片
- 标准循环神经网络 理解等级:中级 普通读书笔记卡
- 深度循环神经网络 理解等级:初级 普通读书笔记卡
- LSTM的门控机制 理解等级:中级 普通读书笔记卡
- GRU的双门简化 理解等级:中级 普通读书笔记卡
- 双向循环神经网络 理解等级:中级 普通读书笔记卡
- 三种循环网络门控对比 理解等级:高级 结构图卡
- 编码解码与Seq2Seq 理解等级:中级 普通读书笔记卡
05 第5章 注意力机制
30 张卡片
- 注意力源于人类视觉 理解等级:初级 普通读书笔记卡
- 软硬注意力之分 理解等级:中级 普通读书笔记卡
- 注意力的QKV本质 理解等级:中级 普通读书笔记卡
- 注意力计算三阶段 理解等级:中级 普通读书笔记卡
- 注意力计算架构 理解等级:中级 结构图卡
- 分心模型的局限 理解等级:初级 普通读书笔记卡
- 从固定C到动态Ci 理解等级:中级 普通读书笔记卡
- 注意力分配值的计算 理解等级:中级 普通读书笔记卡
- 注意力解码器实现 理解等级:中级 操作参考卡
- Transformer顶层架构 理解等级:中级 普通读书笔记卡
- Transformer整体架构 理解等级:中级 结构图卡
- 位置编码补时序 理解等级:中级 普通读书笔记卡
- 自注意力计算步骤 理解等级:中级 普通读书笔记卡
- 缩放点积注意力矩阵化 理解等级:中级 普通读书笔记卡
- 两种掩码机制 理解等级:高级 普通读书笔记卡
- 多头注意力机制 理解等级:中级 普通读书笔记卡
- 高并发与长记忆 理解等级:高级 普通读书笔记卡
- 残差连接与归一化 理解等级:中级 普通读书笔记卡
- 自监督学习收尾 理解等级:初级 普通读书笔记卡
- 编码器解码器与子层实现 理解等级:中级 操作参考卡
- 解码器层与后续掩码实现 理解等级:中级 操作参考卡
- 注意力函数与多头实现 理解等级:中级 操作参考卡
- 位置编码实现 理解等级:中级 操作参考卡
- 模型组装与训练技巧 理解等级:高级 操作参考卡
- Transformer-XL循环机制 理解等级:中级 普通读书笔记卡
- 相对位置编码 理解等级:高级 普通读书笔记卡
- XL评估与依赖长度 理解等级:高级 普通读书笔记卡
- XL与Reformer对比 理解等级:高级 结构图卡
- 局部敏感哈希 理解等级:高级 普通读书笔记卡
- 可逆残差网络 理解等级:高级 普通读书笔记卡
06 第6章 从Word Embedding到ELMo
6 张卡片
- 静态词嵌入的一词多义困境 理解等级:初级 普通读书笔记卡
- ELMo动态词表示机制 理解等级:高级 普通读书笔记卡
- ELMo整体处理流程 理解等级:中级 结构图卡
- 字符编码层结构 理解等级:中级 普通读书笔记卡
- 双向语言模型与参数共享 理解等级:高级 普通读书笔记卡
- 生成ELMo词嵌入 理解等级:高级 普通读书笔记卡
07 第7章 从ELMo到BERT和GPT
12 张卡片
- ELMo的得与失 理解等级:初级 普通读书笔记卡
- BERT整体架构 理解等级:中级 普通读书笔记卡
- BERT的三重嵌入 理解等级:中级 普通读书笔记卡
- 掩码语言模型 理解等级:高级 普通读书笔记卡
- 下一句预测任务 理解等级:中级 普通读书笔记卡
- BERT微调与特征提取 理解等级:中级 普通读书笔记卡
- PyTorch搭建BERT 理解等级:中级 普通读书笔记卡
- GPT的建模与架构 理解等级:中级 普通读书笔记卡
- GPT-2多头与遮掩注意力 理解等级:高级 普通读书笔记卡
- GPT与GPT-2之别 理解等级:中级 普通读书笔记卡
- GPT-3范式 理解等级:高级 普通读书笔记卡
- BERT与GPT架构对照 理解等级:中级 结构图卡
08 第8章 BERT的优化方法
9 张卡片
- 排列语言模型 理解等级:高级 普通读书笔记卡
- 双流自注意力 理解等级:高级 普通读书笔记卡
- XLNet的循环与相对编码 理解等级:中级 普通读书笔记卡
- ALBERT分解嵌入与跨层共享 理解等级:高级 普通读书笔记卡
- SOP替代NSP 理解等级:中级 普通读书笔记卡
- ELECTRA与RTD 理解等级:中级 普通读书笔记卡
- ELECTRA损失与GAN之别 理解等级:高级 普通读书笔记卡
- ELECTRA评估 理解等级:中级 普通读书笔记卡
- BERT优化方法图谱 理解等级:中级 结构图卡
09 第9章 推荐系统
8 张卡片
10 第10章 用Embedding表现分类特征
11 张卡片
- 心脏病诊断项目背景 理解等级:初级 普通读书笔记卡
- 克利夫兰心脏病数据集 理解等级:初级 普通读书笔记卡
- 特征处理流程总览 理解等级:中级 结构图卡
- 导入库与读取CSV 理解等级:中级 操作参考卡
- 拆分训练验证测试集 理解等级:中级 操作参考卡
- tf.data输入流水线 理解等级:中级 普通读书笔记卡
- 数值列与分桶处理 理解等级:中级 普通读书笔记卡
- 分类列独热与Embedding 理解等级:高级 普通读书笔记卡
- 哈希分桶与特征组合 理解等级:高级 普通读书笔记卡
- 选择拼接特征与输入层 理解等级:中级 普通读书笔记卡
- 构建编译训练与评估 理解等级:中级 普通读书笔记卡
11 第11章 用Embedding提升机器学习性能
14 张卡片
- 项目双维度对比设计 理解等级:中级 普通读书笔记卡
- 罗斯曼历史销售数据集 理解等级:初级 普通读书笔记卡
- CSV字典化与空值填充 理解等级:中级 操作参考卡
- 时间特征拆分与标签化 理解等级:中级 普通读书笔记卡
- 公共函数与评估指标 理解等级:中级 操作参考卡
- 实验整体架构 理解等级:中级 结构图卡
- 独热编码神经网络 理解等级:中级 普通读书笔记卡
- 实体嵌入神经网络 理解等级:高级 普通读书笔记卡
- 嵌入向量的保存与复用 理解等级:高级 操作参考卡
- 树模型为何用标签化输入 理解等级:高级 普通读书笔记卡
- XGBoost基准模型 理解等级:中级 普通读书笔记卡
- 嵌入数据驱动的XGBoost 理解等级:高级 普通读书笔记卡
- t-SNE可视化嵌入 理解等级:中级 普通读书笔记卡
- Embedding性能提升结论 理解等级:高级 普通读书笔记卡
12 第12章 用Transformer实现英译中
21 张卡片
- 实例目标与实现流程 理解等级:初级 普通读书笔记卡
- 输入数据格式与预处理步骤 理解等级:中级 普通读书笔记卡
- 数据下载与数据集划分 理解等级:中级 普通读书笔记卡
- 中英子词字典与断词 理解等级:中级 普通读书笔记卡
- 编码与长度过滤 理解等级:中级 普通读书笔记卡
- 训练与验证数据管道 理解等级:中级 普通读书笔记卡
- Transformer英译中总体架构 理解等级:中级 结构图卡
- 编码器解码器堆叠 理解等级:中级 结构图卡
- 缩放点积注意力 理解等级:中级 普通读书笔记卡
- 多头注意力模块实现 理解等级:中级 普通读书笔记卡
- 逐点前馈网络 理解等级:初级 普通读书笔记卡
- 编码器层与编码器 理解等级:中级 普通读书笔记卡
- 解码器层与解码器 理解等级:中级 普通读书笔记卡
- 完整Transformer模型 理解等级:中级 普通读书笔记卡
- 位置编码 理解等级:中级 普通读书笔记卡
- 掩码机制 理解等级:高级 普通读书笔记卡
- 带掩码的交叉熵损失 理解等级:中级 普通读书笔记卡
- 动态学习率与Adam优化器 理解等级:高级 普通读书笔记卡
- 训练流程与checkpoint 理解等级:高级 普通读书笔记卡
- 自回归翻译与评估 理解等级:高级 普通读书笔记卡
- 注意力权重可视化 理解等级:初级 普通读书笔记卡
13 第13章 Embedding技术在推荐系统中的应用
6 张卡片
- Airbnb实时个性化向量空间 理解等级:初级 普通读书笔记卡
- 点击会话与短期偏好 理解等级:中级 普通读书笔记卡
- 预订会话与长期偏好 理解等级:高级 普通读书笔记卡
- 业务目标融入Embedding 理解等级:高级 普通读书笔记卡
- 阿里BST行为序列建模 理解等级:高级 普通读书笔记卡
- 美团MT-BERT知识增强 理解等级:高级 普通读书笔记卡
14 第14章 用BERT实现中文语句分类
14 张卡片
- 中文BERT与transformers库 理解等级:初级 普通读书笔记卡
- WordPiece词块切分 理解等级:中级 普通读书笔记卡
- BERT五大特殊标识符 理解等级:初级 普通读书笔记卡
- 掩码填词预测实例 理解等级:中级 普通读书笔记卡
- BertViz头视图可视化 理解等级:中级 普通读书笔记卡
- BERT文本分类流程 理解等级:中级 结构图卡
- 假新闻分类任务 理解等级:中级 普通读书笔记卡
- 样本清洗与类别基线 理解等级:中级 普通读书笔记卡
- BERT输入三张量 理解等级:中级 普通读书笔记卡
- FakeNewsDataset数据类 理解等级:中级 普通读书笔记卡
- 批量填充与掩码张量 理解等级:中级 普通读书笔记卡
- BERT分类微调模型 理解等级:中级 普通读书笔记卡
- 训练循环与预测函数 理解等级:中级 普通读书笔记卡
- 测试与注意力分析 理解等级:高级 普通读书笔记卡
15 第15章 用GPT-2生成文本
8 张卡片
- GPT-2单向Transformer 理解等级:中级 普通读书笔记卡
- GPT-2无监督下游处理 理解等级:中级 普通读书笔记卡
- 提示续写与常识推理 理解等级:初级 普通读书笔记卡
- top-k随机采样 理解等级:中级 普通读书笔记卡
- GPT-2新闻生成流程 理解等级:中级 普通读书笔记卡
- GPT-2文本生成流程 理解等级:中级 结构图卡
- 戏剧文本微调流程 理解等级:中级 普通读书笔记卡
- Encoder与Decoder分工 理解等级:初级 普通读书笔记卡
16 第16章 Embedding技术总结
4 张卡片
- Embedding的四重意义 理解等级:中级 普通读书笔记卡
- 静态到动态表示 理解等级:中级 普通读书笔记卡
- Embedding衍生与交叉 理解等级:中级 普通读书笔记卡
- Embedding不足与优化 理解等级:高级 普通读书笔记卡
appa
14 张卡片
- 升级前环境分析 理解等级:中级 操作参考卡
- 驱动与CUDA对应 理解等级:中级 操作参考卡
- PPA升级显卡驱动 理解等级:中级 操作参考卡
- 安装Python3.7 理解等级:中级 操作参考卡
- conda装TF2 理解等级:中级 操作参考卡
- pip装TF2 理解等级:中级 操作参考卡
- Jupyter远程配置 理解等级:中级 操作参考卡
- TF2GPU安装验证 理解等级:初级 操作参考卡
- MNIST建模流程 理解等级:中级 操作参考卡
- 镜像策略原理 理解等级:中级 普通读书笔记卡
- 分布式训练实施 理解等级:中级 操作参考卡
- conda装TF优势 理解等级:高级 普通读书笔记卡
- PyTorchGPU安装 理解等级:中级 操作参考卡
- 清华镜像改源 理解等级:中级 问题卡
全书概览
《深入浅出Embedding:原理解析与应用实践》阅读概览
- 书名:深入浅出Embedding:原理解析与应用实践
- 作者:吴茂贵、王红星
- 出版社:机械工业出版社,出版日期 2021-11-11
- 执行模式:light
- 建档 Skill 版本:v24
- 建档进度:done
- 优先级:P4
- 评级:经典原理(高信息浓度 + 高稳定性:Embedding/注意力/预训练模型机制稳定可迁移,工程细节按当时框架版本)
- 内容形态:概念解析型为主体,第二部分(第10—15章)为操作手册型实例
- 原书:
books/20260910/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星) .epub - 已读正文:前言 + 第1—16章 + 附录A/B(共 19 个实质单元;第一部分/第二部分扉页为非正文排除)
- 整书笔记:
_book_note.md(23 sections / 212 primary / 212 sources) - 阅读覆盖:
_coverage.md - 知识卡:212 张(cards/)
- 实践卡:3 张(ideas/)
- 实践候选筛选:done
章节进度追踪表
| 章节号 | 章节标题 | 状态 | 卡片数 |
|---|---|---|---|
| 00 | 前言 | done | 3 |
| 01 | 第1章 万物皆可嵌入 | done | 20 |
| 02 | 第2章 获取Embedding的方法 | done | 12 |
| 03 | 第3章 计算机视觉处理 | done | 11 |
| 04 | 第4章 文本及序列处理 | done | 7 |
| 05 | 第5章 注意力机制 | done | 30 |
| 06 | 第6章 从Word Embedding到ELMo | done | 6 |
| 07 | 第7章 从ELMo到BERT和GPT | done | 12 |
| 08 | 第8章 BERT的优化方法 | done | 9 |
| 09 | 第9章 推荐系统 | done | 8 |
| 10 | 第10章 用Embedding表现分类特征 | done | 11 |
| 11 | 第11章 用Embedding提升机器学习性能 | done | 14 |
| 12 | 第12章 用Transformer实现英译中 | done | 21 |
| 13 | 第13章 Embedding技术在推荐系统中的应用 | done | 6 |
| 14 | 第14章 用BERT实现中文语句分类 | done | 14 |
| 15 | 第15章 用GPT-2生成文本 | done | 8 |
| 16 | 第16章 Embedding技术总结 | done | 4 |
| A | 附录A 基于GPU的环境升级安装 | done | 14 |
| B | 附录B 语言模型 | done | 2 |
非正文排除
| spine项 | 类型 | 排除理由 |
|---|---|---|
| titlepage.xhtml | 书名页 | 无正文 |
| copyright.xhtml | 版权页 | 无正文 |
| TOC.xhtml | 目录 | 纯目录 |
| Chapter3.xhtml | 第一部分扉页 | 分区标题页,无实质讲解 |
| Chapter13.xhtml | 第二部分扉页 | 分区标题页,无实质讲解 |
实践卡进度
| 序号 | 实践标题 | 实践方式 | 状态 | 关联章节 | 产出 |
|---|---|---|---|---|---|
| 1 | 词向量对比实验 | 实验复现 | done | 第1—2章 | ideas/idea-001 |
| 2 | 注意力可视化 | 可视化分析 | done | 第5/14章 | ideas/idea-002 |
| 3 | 表格数据嵌入增益复现 | 实验复现 | done | 第10—11章 | ideas/idea-003 |
实践候选筛选:done
相关主题
从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。
暂无公开主题。