来源书籍

破解深度学习(基础篇)_模型算法与实现

Skill 版本:未记录版本 159 张卡片

瞿炜;李力;杨洁 · 人民邮电出版社 · 2024-10 · ISBN 9787115651037

章节与卡片

01 第1章 欢迎来到深度学习的世界

13 张卡片
  1. 神经网络的逼近能力 理解等级:中级 普通读书笔记卡
  2. 多模态融合的分工 理解等级:中级 普通读书笔记卡
  3. 网络深度与参数 理解等级:初级 普通读书笔记卡
  4. 语音识别与合成 理解等级:初级 普通读书笔记卡
  5. 知识图谱表示关系 理解等级:初级 普通读书笔记卡
  6. 交互式笔记本 理解等级:初级 普通读书笔记卡
  7. 卷积网络处理图像 理解等级:初级 普通读书笔记卡
  8. 循环网络处理序列 理解等级:初级 普通读书笔记卡
  9. 注意力选择信息 理解等级:初级 普通读书笔记卡
  10. 非线性特征变换 理解等级:中级 普通读书笔记卡
  11. 图像超分辨率 理解等级:中级 普通读书笔记卡
  12. 生成对抗网络的角色 理解等级:初级 普通读书笔记卡
  13. 变分自编码器的角色 理解等级:初级 普通读书笔记卡

02 第2章 必要的数学预备知识

30 张卡片
  1. 线性变换保持组合 理解等级:初级 普通读书笔记卡
  2. 向量表示有序数据 理解等级:初级 普通读书笔记卡
  3. 矩阵表示二维数据 理解等级:初级 普通读书笔记卡
  4. 张量的轴与形状 理解等级:初级 普通读书笔记卡
  5. 向量维数与范数 理解等级:中级 普通读书笔记卡
  6. 向量点积与方向 理解等级:中级 普通读书笔记卡
  7. 三维向量叉积 理解等级:中级 普通读书笔记卡
  8. 矩阵转置交换行列 理解等级:中级 普通读书笔记卡
  9. 矩阵乘法与形状 理解等级:中级 普通读书笔记卡
  10. 矩阵内积与逐项乘积 理解等级:中级 普通读书笔记卡
  11. 极限描述附近趋势 理解等级:中级 普通读书笔记卡
  12. 导数与局部变化 理解等级:中级 普通读书笔记卡
  13. 微分是局部线性近似 理解等级:中级 普通读书笔记卡
  14. 偏导数与梯度 理解等级:中级 普通读书笔记卡
  15. 复合函数链式法则 理解等级:中级 普通读书笔记卡
  16. 概率与统计的方向 理解等级:中级 普通读书笔记卡
  17. 事件独立与互斥 理解等级:中级 普通读书笔记卡
  18. 离散概率与密度 理解等级:中级 普通读书笔记卡
  19. 条件概率与贝叶斯 理解等级:中级 普通读书笔记卡
  20. 最大似然估计 理解等级:中级 普通读书笔记卡
  21. 频率与贝叶斯视角 理解等级:中级 普通读书笔记卡
  22. 随机变量与分布 理解等级:中级 普通读书笔记卡
  23. 联合概率与条件 理解等级:中级 普通读书笔记卡
  24. 正态分布的参数 理解等级:中级 普通读书笔记卡
  25. 梯度下降更新参数 理解等级:中级 普通读书笔记卡
  26. 常见函数求导 理解等级:中级 普通读书笔记卡
  27. 交叉熵与预测概率 理解等级:中级 普通读书笔记卡
  28. 线性方程组描述约束 理解等级:初级 普通读书笔记卡
  29. 等可能样本空间 理解等级:初级 普通读书笔记卡
  30. 概率事件表示结果 理解等级:初级 普通读书笔记卡

03 第3章 环境安装和工具使用

9 张卡片
  1. CUDA驱动兼容检查 理解等级:中级 操作参考卡
  2. conda环境隔离 理解等级:中级 操作参考卡
  3. conda包管理 理解等级:中级 操作参考卡
  4. 启动笔记本服务 理解等级:中级 操作参考卡
  5. 笔记本单元与快捷键 理解等级:中级 操作参考卡
  6. PyTorch与GPU分工 理解等级:中级 操作参考卡
  7. 验证PyTorch运行环境 理解等级:中级 操作参考卡
  8. conda复制与删除环境 理解等级:中级 操作参考卡
  9. Markdown记录结构 理解等级:中级 操作参考卡

04 第4章 深度神经网络:误差倒查分解

23 张卡片
  1. 人工神经元的计算 理解等级:中级 普通读书笔记卡
  2. 多层仿射仍是仿射 理解等级:中级 普通读书笔记卡
  3. 多层感知机的结构 理解等级:中级 普通读书笔记卡
  4. Sigmoid激活与饱和 理解等级:中级 普通读书笔记卡
  5. Tanh激活的范围 理解等级:中级 普通读书笔记卡
  6. ReLU与失活 理解等级:中级 普通读书笔记卡
  7. Softmax归一化分数 理解等级:中级 普通读书笔记卡
  8. 损失函数衡量误差 理解等级:中级 普通读书笔记卡
  9. 前向传播计算预测 理解等级:中级 普通读书笔记卡
  10. 均方误差衡量偏差 理解等级:中级 普通读书笔记卡
  11. 反向传播计算梯度 理解等级:中级 普通读书笔记卡
  12. 数据集与批量加载 理解等级:中级 普通读书笔记卡
  13. 训练循环的更新顺序 理解等级:中级 普通读书笔记卡
  14. 分类评估与原始分数 理解等级:中级 普通读书笔记卡
  15. 线性回归的最小二乘 理解等级:中级 普通读书笔记卡
  16. 多元回归的矩阵表达 理解等级:中级 普通读书笔记卡
  17. 多项式特征与回归 理解等级:中级 普通读书笔记卡
  18. 参数初始化影响训练 理解等级:中级 普通读书笔记卡
  19. 独热标签与类别概率 理解等级:中级 普通读书笔记卡
  20. Softmax回归与交叉熵 理解等级:中级 普通读书笔记卡
  21. 训练验证与测试区分 理解等级:中级 普通读书笔记卡
  22. 按激活选择初始化 理解等级:中级 普通读书笔记卡
  23. 保存训练后的模型 理解等级:中级 普通读书笔记卡

05 第5章 常见挑战及对策:一切为了泛化能力

17 张卡片
  1. 泛化与过欠拟合 理解等级:中级 普通读书笔记卡
  2. 数据增强的假设 理解等级:中级 普通读书笔记卡
  3. 训练验证测试分工 理解等级:中级 普通读书笔记卡
  4. 交叉验证轮流留出 理解等级:中级 普通读书笔记卡
  5. 提前停止控制拟合 理解等级:中级 普通读书笔记卡
  6. 正则化约束学习 理解等级:中级 普通读书笔记卡
  7. L1与L2惩罚区别 理解等级:中级 普通读书笔记卡
  8. 权重衰减与L2 理解等级:中级 普通读书笔记卡
  9. Dropout随机掩码 理解等级:中级 普通读书笔记卡
  10. 梯度消失与爆炸 理解等级:中级 普通读书笔记卡
  11. 梯度裁剪限制更新 理解等级:中级 普通读书笔记卡
  12. 批归一化的步骤 理解等级:中级 普通读书笔记卡
  13. 残差连接提供捷径 理解等级:中级 普通读书笔记卡
  14. 保存与恢复参数 理解等级:中级 普通读书笔记卡
  15. 模型选择依赖问题 理解等级:中级 普通读书笔记卡
  16. 评估模式与梯度开关 理解等级:中级 普通读书笔记卡
  17. 保存与读取张量 理解等级:中级 普通读书笔记卡

06 第6章 梯度下降算法及变体:高效求解模型参数

19 张卡片
  1. 经验风险与真实风险 理解等级:中级 普通读书笔记卡
  2. 替代损失与目标指标 理解等级:中级 普通读书笔记卡
  3. 病态与优化速度 理解等级:中级 普通读书笔记卡
  4. 局部最小与鞍点 理解等级:中级 普通读书笔记卡
  5. 凸函数与最小值 理解等级:中级 普通读书笔记卡
  6. Jensen不等式 理解等级:中级 普通读书笔记卡
  7. 高斯误差与最小二乘 理解等级:中级 普通读书笔记卡
  8. 最大后验与正则化 理解等级:中级 普通读书笔记卡
  9. 后验分布与点估计 理解等级:中级 普通读书笔记卡
  10. 学习率影响下降 理解等级:中级 普通读书笔记卡
  11. 批量与随机梯度 理解等级:中级 普通读书笔记卡
  12. 动量累积梯度方向 理解等级:中级 普通读书笔记卡
  13. AdaGrad累积平方梯度 理解等级:中级 普通读书笔记卡
  14. RMSProp近期平方平均 理解等级:中级 普通读书笔记卡
  15. AdaDelta利用更新历史 理解等级:中级 普通读书笔记卡
  16. Adam的两种矩估计 理解等级:中级 普通读书笔记卡
  17. 学习率调度与预热 理解等级:中级 普通读书笔记卡
  18. 数据子集误用导致泄漏 理解等级:中级 普通读书笔记卡
  19. 预热代码上限错误 理解等级:中级 普通读书笔记卡

07 第7章 基础卷积神经网络:图像处理利器

12 张卡片
  1. 全连接与图像局部性 理解等级:中级 普通读书笔记卡
  2. 卷积与互相关 理解等级:中级 普通读书笔记卡
  3. 卷积核提取特征 理解等级:中级 普通读书笔记卡
  4. 卷积感受野 理解等级:中级 普通读书笔记卡
  5. 局部连接与参数共享 理解等级:中级 普通读书笔记卡
  6. 等变性与不变性 理解等级:中级 普通读书笔记卡
  7. 卷积填充与步长 理解等级:中级 普通读书笔记卡
  8. 卷积输出尺寸计算 理解等级:中级 普通读书笔记卡
  9. 多通道卷积与滤波器 理解等级:中级 普通读书笔记卡
  10. 分组卷积减少连接 理解等级:中级 普通读书笔记卡
  11. 最大池化与平均池化 理解等级:中级 普通读书笔记卡
  12. LeNet尺寸流转 理解等级:中级 普通读书笔记卡

08 第8章 基础循环神经网络:为序列数据而生

17 张卡片
  1. 序列与时间建模 理解等级:中级 普通读书笔记卡
  2. 文本预处理应服务任务 理解等级:中级 普通读书笔记卡
  3. 词干提取与词形还原 理解等级:中级 普通读书笔记卡
  4. 词袋模型丢失顺序 理解等级:中级 普通读书笔记卡
  5. N元词组保留局部次序 理解等级:中级 普通读书笔记卡
  6. 词嵌入与预训练 理解等级:中级 普通读书笔记卡
  7. 循环状态与参数共享 理解等级:中级 普通读书笔记卡
  8. 时间反向传播的梯度汇合 理解等级:中级 普通读书笔记卡
  9. 循环网络的长期依赖 理解等级:中级 普通读书笔记卡
  10. 时间序列滑动窗口 理解等级:中级 普通读书笔记卡
  11. 预测实验验证集核对 理解等级:中级 普通读书笔记卡
  12. 编码器解码器分工 理解等级:中级 普通读书笔记卡
  13. 序列生成边界标记 理解等级:中级 普通读书笔记卡
  14. 教师强制与推理差异 理解等级:中级 普通读书笔记卡
  15. 贪心与束搜索 理解等级:中级 普通读书笔记卡
  16. 序列概率与对数损失 理解等级:中级 普通读书笔记卡
  17. 序列例程的未知词与评估 理解等级:中级 普通读书笔记卡

09 第9章 注意力神经网络:赋予模型认知能力

19 张卡片
  1. 注意力与固定向量瓶颈 理解等级:中级 普通读书笔记卡
  2. 查询键值与加权汇聚 理解等级:中级 普通读书笔记卡
  3. 缩放点积注意力 理解等级:中级 普通读书笔记卡
  4. 注意力维度与方向 理解等级:中级 普通读书笔记卡
  5. 注意力分数函数 理解等级:中级 普通读书笔记卡
  6. 全局与局部注意力 理解等级:中级 普通读书笔记卡
  7. 自注意力的计算代价 理解等级:中级 普通读书笔记卡
  8. 多头注意力分工 理解等级:中级 普通读书笔记卡
  9. 注意力权重不是因果解释 理解等级:中级 普通读书笔记卡
  10. 核回归与注意力池化 理解等级:中级 普通读书笔记卡
  11. Transformer编码器与解码器 理解等级:中级 普通读书笔记卡
  12. 位置编码提供次序 理解等级:中级 普通读书笔记卡
  13. 因果掩码与填充掩码 理解等级:中级 普通读书笔记卡
  14. 残差与层归一化 理解等级:中级 普通读书笔记卡
  15. 输出投影与交叉熵 理解等级:中级 普通读书笔记卡
  16. 位置编码示例中的索引错误 理解等级:中级 普通读书笔记卡
  17. 模型层应在初始化中注册 理解等级:中级 普通读书笔记卡
  18. 解码输入与生成评估 理解等级:中级 普通读书笔记卡
  19. 注意力机制与模型架构 理解等级:中级 普通读书笔记卡

全书概览

《破解深度学习(基础篇)_模型算法与实现》概览

执行模式:light

Skill 版本:book-notes v24

建档进度:完成

评级:经典原理(高信息浓度、高稳定性)。链式法则与反向传播解释梯度计算,卷积的参数共享和注意力的动态加权解释模型机制;这些原理可跨框架迁移。安装步骤与具体示例代码会过时,书中部分论断和实现亦需核对。

整书笔记

章节进度追踪表

章节号 章节标题 状态 卡片数
前言 前言 done 0
第01章 第1章 欢迎来到深度学习的世界 done 13
第02章 第2章 必要的数学预备知识 done 30
第03章 第3章 环境安装和工具使用 done 9
第04章 第4章 深度神经网络:误差倒查分解 done 23
第05章 第5章 常见挑战及对策:一切为了泛化能力 done 17
第06章 第6章 梯度下降算法及变体:高效求解模型参数 done 19
第07章 第7章 基础卷积神经网络:图像处理利器 done 12
第08章 第8章 基础循环神经网络:为序列数据而生 done 17
第09章 第9章 注意力神经网络:赋予模型认知能力 done 19

非正文排除

spine项 类型 排除理由
cover.xhtml 封面 书名展示,无正文
copyright.xhtml 版权 出版元数据,无讲解正文
qz03.xhtml 内容提要 书籍摘要,不另述知识
qz03_0001.xhtml 作者简介 履历介绍
qz03_0003.xhtml 资源与支持 资源领取与联系信息
daima.xhtml 字体许可 SIL 字体许可文本

待关联术语

术语名 出现章节 一句话语境
机器翻译 第01章 自然语言处理的应用
智能客服 第01章 自然语言处理应用举例
Python 第01章 书中使用的编程语言

| MNIST | 第01章 | 书中仅提及作为数据集、模型或工具示例 | | Flowers102 | 第01章 | 书中仅提及作为数据集、模型或工具示例 | | Twenty Newsgroups | 第01章 | 书中仅提及作为数据集、模型或工具示例 | | Kaggle | 第01章 | 书中仅提及作为数据集、模型或工具示例 | | GLUE | 第01章 | 书中仅提及作为数据集、模型或工具示例 | | AlexNet | 第01章 | 书中仅提及作为数据集、模型或工具示例 | | BERT | 第01章 | 书中仅提及作为数据集、模型或工具示例 | | GPT | 第01章 | 书中仅提及作为数据集、模型或工具示例 | | PyCharm | 第01章 | 书中仅提及作为数据集、模型或工具示例 | | Visual Studio Code | 第01章 | 书中仅提及作为数据集、模型或工具示例 |

| 克罗内克积 | 第02章 | 仅提及名称与符号,未展开计算 | | NumPy | 第02章 | 数值计算库 |

| VGG | 第01章 | 后续内容或发展示例,仅提名 | | GoogLeNet | 第01章 | 后续内容或发展示例,仅提名 | | ResNet | 第01章 | 后续内容或发展示例,仅提名 | | DenseNet | 第01章 | 后续内容或发展示例,仅提名 | | 深度RNN | 第01章 | 后续内容或发展示例,仅提名 | | 双向RNN | 第01章 | 后续内容或发展示例,仅提名 | | GRU | 第01章 | 后续内容或发展示例,仅提名 | | LSTM | 第01章 | 后续内容或发展示例,仅提名 | | 蒙特卡洛方法 | 第01章 | 后续内容或发展示例,仅提名 | | 变分推断 | 第01章 | 后续内容或发展示例,仅提名 | | 扩散模型 | 第01章 | 后续内容或发展示例,仅提名 |

| 支持向量机 | 第04章 | 核方法作为非线性映射示例 |

| Nadam | 第06章 | 优化算法发展示意中仅提名 | | AdaMax | 第06章 | 优化算法发展示意中仅提名 | | AMSGrad | 第06章 | 优化算法发展示意中仅提名 | | Nesterov动量 | 第06章 | 优化算法图与代码中出现但未展开 |

| Sobel核 | 第07章 | 图像边缘特征检测核,仅提名 | | Prewitt核 | 第07章 | 图像边缘特征检测核,仅提名 | | 中值池化 | 第07章 | 其他池化策略,仅提名 | | 随机池化 | 第07章 | 其他池化策略,仅提名 |

引用文献

标题 类型 出现章节 一句话语境
Attention Is All You Need 论文 第01章 Transformer 与自注意力的发展背景
TensorFlow 框架 第01章 深度学习框架示例
PyTorch 框架 第01章 本书选用的深度学习框架
PaddlePaddle 框架 第01章 深度学习框架示例

资金安全问题案例

问题标题 问题卡 解决方案卡 出现章节 一句话说明

实践卡进度

序号 实践标题 实践方式 状态 关联章节 产出

| 001 | 深读自动求导 | 实现深读 | done | 第4、8章 | 实践卡 | | 002 | 深读多头注意力 | 实现深读 | done | 第9章 | 实践卡 |

实践候选筛选:done;合并重复的神经网络实现学习,选择两个有明确成熟源码入口、能回答不同机制问题的候选。安装步骤及未经核验的模型表现不单独生成实践。

相关主题

从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。

暂无公开主题。