来源书籍
破解深度学习(基础篇)_模型算法与实现
章节与卡片
01 第1章 欢迎来到深度学习的世界
13 张卡片
- 神经网络的逼近能力 理解等级:中级 普通读书笔记卡
- 多模态融合的分工 理解等级:中级 普通读书笔记卡
- 网络深度与参数 理解等级:初级 普通读书笔记卡
- 语音识别与合成 理解等级:初级 普通读书笔记卡
- 知识图谱表示关系 理解等级:初级 普通读书笔记卡
- 交互式笔记本 理解等级:初级 普通读书笔记卡
- 卷积网络处理图像 理解等级:初级 普通读书笔记卡
- 循环网络处理序列 理解等级:初级 普通读书笔记卡
- 注意力选择信息 理解等级:初级 普通读书笔记卡
- 非线性特征变换 理解等级:中级 普通读书笔记卡
- 图像超分辨率 理解等级:中级 普通读书笔记卡
- 生成对抗网络的角色 理解等级:初级 普通读书笔记卡
- 变分自编码器的角色 理解等级:初级 普通读书笔记卡
02 第2章 必要的数学预备知识
30 张卡片
- 线性变换保持组合 理解等级:初级 普通读书笔记卡
- 向量表示有序数据 理解等级:初级 普通读书笔记卡
- 矩阵表示二维数据 理解等级:初级 普通读书笔记卡
- 张量的轴与形状 理解等级:初级 普通读书笔记卡
- 向量维数与范数 理解等级:中级 普通读书笔记卡
- 向量点积与方向 理解等级:中级 普通读书笔记卡
- 三维向量叉积 理解等级:中级 普通读书笔记卡
- 矩阵转置交换行列 理解等级:中级 普通读书笔记卡
- 矩阵乘法与形状 理解等级:中级 普通读书笔记卡
- 矩阵内积与逐项乘积 理解等级:中级 普通读书笔记卡
- 极限描述附近趋势 理解等级:中级 普通读书笔记卡
- 导数与局部变化 理解等级:中级 普通读书笔记卡
- 微分是局部线性近似 理解等级:中级 普通读书笔记卡
- 偏导数与梯度 理解等级:中级 普通读书笔记卡
- 复合函数链式法则 理解等级:中级 普通读书笔记卡
- 概率与统计的方向 理解等级:中级 普通读书笔记卡
- 事件独立与互斥 理解等级:中级 普通读书笔记卡
- 离散概率与密度 理解等级:中级 普通读书笔记卡
- 条件概率与贝叶斯 理解等级:中级 普通读书笔记卡
- 最大似然估计 理解等级:中级 普通读书笔记卡
- 频率与贝叶斯视角 理解等级:中级 普通读书笔记卡
- 随机变量与分布 理解等级:中级 普通读书笔记卡
- 联合概率与条件 理解等级:中级 普通读书笔记卡
- 正态分布的参数 理解等级:中级 普通读书笔记卡
- 梯度下降更新参数 理解等级:中级 普通读书笔记卡
- 常见函数求导 理解等级:中级 普通读书笔记卡
- 交叉熵与预测概率 理解等级:中级 普通读书笔记卡
- 线性方程组描述约束 理解等级:初级 普通读书笔记卡
- 等可能样本空间 理解等级:初级 普通读书笔记卡
- 概率事件表示结果 理解等级:初级 普通读书笔记卡
03 第3章 环境安装和工具使用
9 张卡片
- CUDA驱动兼容检查 理解等级:中级 操作参考卡
- conda环境隔离 理解等级:中级 操作参考卡
- conda包管理 理解等级:中级 操作参考卡
- 启动笔记本服务 理解等级:中级 操作参考卡
- 笔记本单元与快捷键 理解等级:中级 操作参考卡
- PyTorch与GPU分工 理解等级:中级 操作参考卡
- 验证PyTorch运行环境 理解等级:中级 操作参考卡
- conda复制与删除环境 理解等级:中级 操作参考卡
- Markdown记录结构 理解等级:中级 操作参考卡
04 第4章 深度神经网络:误差倒查分解
23 张卡片
- 人工神经元的计算 理解等级:中级 普通读书笔记卡
- 多层仿射仍是仿射 理解等级:中级 普通读书笔记卡
- 多层感知机的结构 理解等级:中级 普通读书笔记卡
- Sigmoid激活与饱和 理解等级:中级 普通读书笔记卡
- Tanh激活的范围 理解等级:中级 普通读书笔记卡
- ReLU与失活 理解等级:中级 普通读书笔记卡
- Softmax归一化分数 理解等级:中级 普通读书笔记卡
- 损失函数衡量误差 理解等级:中级 普通读书笔记卡
- 前向传播计算预测 理解等级:中级 普通读书笔记卡
- 均方误差衡量偏差 理解等级:中级 普通读书笔记卡
- 反向传播计算梯度 理解等级:中级 普通读书笔记卡
- 数据集与批量加载 理解等级:中级 普通读书笔记卡
- 训练循环的更新顺序 理解等级:中级 普通读书笔记卡
- 分类评估与原始分数 理解等级:中级 普通读书笔记卡
- 线性回归的最小二乘 理解等级:中级 普通读书笔记卡
- 多元回归的矩阵表达 理解等级:中级 普通读书笔记卡
- 多项式特征与回归 理解等级:中级 普通读书笔记卡
- 参数初始化影响训练 理解等级:中级 普通读书笔记卡
- 独热标签与类别概率 理解等级:中级 普通读书笔记卡
- Softmax回归与交叉熵 理解等级:中级 普通读书笔记卡
- 训练验证与测试区分 理解等级:中级 普通读书笔记卡
- 按激活选择初始化 理解等级:中级 普通读书笔记卡
- 保存训练后的模型 理解等级:中级 普通读书笔记卡
05 第5章 常见挑战及对策:一切为了泛化能力
17 张卡片
- 泛化与过欠拟合 理解等级:中级 普通读书笔记卡
- 数据增强的假设 理解等级:中级 普通读书笔记卡
- 训练验证测试分工 理解等级:中级 普通读书笔记卡
- 交叉验证轮流留出 理解等级:中级 普通读书笔记卡
- 提前停止控制拟合 理解等级:中级 普通读书笔记卡
- 正则化约束学习 理解等级:中级 普通读书笔记卡
- L1与L2惩罚区别 理解等级:中级 普通读书笔记卡
- 权重衰减与L2 理解等级:中级 普通读书笔记卡
- Dropout随机掩码 理解等级:中级 普通读书笔记卡
- 梯度消失与爆炸 理解等级:中级 普通读书笔记卡
- 梯度裁剪限制更新 理解等级:中级 普通读书笔记卡
- 批归一化的步骤 理解等级:中级 普通读书笔记卡
- 残差连接提供捷径 理解等级:中级 普通读书笔记卡
- 保存与恢复参数 理解等级:中级 普通读书笔记卡
- 模型选择依赖问题 理解等级:中级 普通读书笔记卡
- 评估模式与梯度开关 理解等级:中级 普通读书笔记卡
- 保存与读取张量 理解等级:中级 普通读书笔记卡
06 第6章 梯度下降算法及变体:高效求解模型参数
19 张卡片
- 经验风险与真实风险 理解等级:中级 普通读书笔记卡
- 替代损失与目标指标 理解等级:中级 普通读书笔记卡
- 病态与优化速度 理解等级:中级 普通读书笔记卡
- 局部最小与鞍点 理解等级:中级 普通读书笔记卡
- 凸函数与最小值 理解等级:中级 普通读书笔记卡
- Jensen不等式 理解等级:中级 普通读书笔记卡
- 高斯误差与最小二乘 理解等级:中级 普通读书笔记卡
- 最大后验与正则化 理解等级:中级 普通读书笔记卡
- 后验分布与点估计 理解等级:中级 普通读书笔记卡
- 学习率影响下降 理解等级:中级 普通读书笔记卡
- 批量与随机梯度 理解等级:中级 普通读书笔记卡
- 动量累积梯度方向 理解等级:中级 普通读书笔记卡
- AdaGrad累积平方梯度 理解等级:中级 普通读书笔记卡
- RMSProp近期平方平均 理解等级:中级 普通读书笔记卡
- AdaDelta利用更新历史 理解等级:中级 普通读书笔记卡
- Adam的两种矩估计 理解等级:中级 普通读书笔记卡
- 学习率调度与预热 理解等级:中级 普通读书笔记卡
- 数据子集误用导致泄漏 理解等级:中级 普通读书笔记卡
- 预热代码上限错误 理解等级:中级 普通读书笔记卡
07 第7章 基础卷积神经网络:图像处理利器
12 张卡片
08 第8章 基础循环神经网络:为序列数据而生
17 张卡片
- 序列与时间建模 理解等级:中级 普通读书笔记卡
- 文本预处理应服务任务 理解等级:中级 普通读书笔记卡
- 词干提取与词形还原 理解等级:中级 普通读书笔记卡
- 词袋模型丢失顺序 理解等级:中级 普通读书笔记卡
- N元词组保留局部次序 理解等级:中级 普通读书笔记卡
- 词嵌入与预训练 理解等级:中级 普通读书笔记卡
- 循环状态与参数共享 理解等级:中级 普通读书笔记卡
- 时间反向传播的梯度汇合 理解等级:中级 普通读书笔记卡
- 循环网络的长期依赖 理解等级:中级 普通读书笔记卡
- 时间序列滑动窗口 理解等级:中级 普通读书笔记卡
- 预测实验验证集核对 理解等级:中级 普通读书笔记卡
- 编码器解码器分工 理解等级:中级 普通读书笔记卡
- 序列生成边界标记 理解等级:中级 普通读书笔记卡
- 教师强制与推理差异 理解等级:中级 普通读书笔记卡
- 贪心与束搜索 理解等级:中级 普通读书笔记卡
- 序列概率与对数损失 理解等级:中级 普通读书笔记卡
- 序列例程的未知词与评估 理解等级:中级 普通读书笔记卡
09 第9章 注意力神经网络:赋予模型认知能力
19 张卡片
- 注意力与固定向量瓶颈 理解等级:中级 普通读书笔记卡
- 查询键值与加权汇聚 理解等级:中级 普通读书笔记卡
- 缩放点积注意力 理解等级:中级 普通读书笔记卡
- 注意力维度与方向 理解等级:中级 普通读书笔记卡
- 注意力分数函数 理解等级:中级 普通读书笔记卡
- 全局与局部注意力 理解等级:中级 普通读书笔记卡
- 自注意力的计算代价 理解等级:中级 普通读书笔记卡
- 多头注意力分工 理解等级:中级 普通读书笔记卡
- 注意力权重不是因果解释 理解等级:中级 普通读书笔记卡
- 核回归与注意力池化 理解等级:中级 普通读书笔记卡
- Transformer编码器与解码器 理解等级:中级 普通读书笔记卡
- 位置编码提供次序 理解等级:中级 普通读书笔记卡
- 因果掩码与填充掩码 理解等级:中级 普通读书笔记卡
- 残差与层归一化 理解等级:中级 普通读书笔记卡
- 输出投影与交叉熵 理解等级:中级 普通读书笔记卡
- 位置编码示例中的索引错误 理解等级:中级 普通读书笔记卡
- 模型层应在初始化中注册 理解等级:中级 普通读书笔记卡
- 解码输入与生成评估 理解等级:中级 普通读书笔记卡
- 注意力机制与模型架构 理解等级:中级 普通读书笔记卡
全书概览
《破解深度学习(基础篇)_模型算法与实现》概览
执行模式:light
Skill 版本:book-notes v24
建档进度:完成
评级:经典原理(高信息浓度、高稳定性)。链式法则与反向传播解释梯度计算,卷积的参数共享和注意力的动态加权解释模型机制;这些原理可跨框架迁移。安装步骤与具体示例代码会过时,书中部分论断和实现亦需核对。
整书笔记
章节进度追踪表
| 章节号 | 章节标题 | 状态 | 卡片数 |
|---|---|---|---|
| 前言 | 前言 | done | 0 |
| 第01章 | 第1章 欢迎来到深度学习的世界 | done | 13 |
| 第02章 | 第2章 必要的数学预备知识 | done | 30 |
| 第03章 | 第3章 环境安装和工具使用 | done | 9 |
| 第04章 | 第4章 深度神经网络:误差倒查分解 | done | 23 |
| 第05章 | 第5章 常见挑战及对策:一切为了泛化能力 | done | 17 |
| 第06章 | 第6章 梯度下降算法及变体:高效求解模型参数 | done | 19 |
| 第07章 | 第7章 基础卷积神经网络:图像处理利器 | done | 12 |
| 第08章 | 第8章 基础循环神经网络:为序列数据而生 | done | 17 |
| 第09章 | 第9章 注意力神经网络:赋予模型认知能力 | done | 19 |
非正文排除
| spine项 | 类型 | 排除理由 |
|---|---|---|
| cover.xhtml | 封面 | 书名展示,无正文 |
| copyright.xhtml | 版权 | 出版元数据,无讲解正文 |
| qz03.xhtml | 内容提要 | 书籍摘要,不另述知识 |
| qz03_0001.xhtml | 作者简介 | 履历介绍 |
| qz03_0003.xhtml | 资源与支持 | 资源领取与联系信息 |
| daima.xhtml | 字体许可 | SIL 字体许可文本 |
待关联术语
| 术语名 | 出现章节 | 一句话语境 |
|---|---|---|
| 机器翻译 | 第01章 | 自然语言处理的应用 |
| 智能客服 | 第01章 | 自然语言处理应用举例 |
| Python | 第01章 | 书中使用的编程语言 |
| MNIST | 第01章 | 书中仅提及作为数据集、模型或工具示例 | | Flowers102 | 第01章 | 书中仅提及作为数据集、模型或工具示例 | | Twenty Newsgroups | 第01章 | 书中仅提及作为数据集、模型或工具示例 | | Kaggle | 第01章 | 书中仅提及作为数据集、模型或工具示例 | | GLUE | 第01章 | 书中仅提及作为数据集、模型或工具示例 | | AlexNet | 第01章 | 书中仅提及作为数据集、模型或工具示例 | | BERT | 第01章 | 书中仅提及作为数据集、模型或工具示例 | | GPT | 第01章 | 书中仅提及作为数据集、模型或工具示例 | | PyCharm | 第01章 | 书中仅提及作为数据集、模型或工具示例 | | Visual Studio Code | 第01章 | 书中仅提及作为数据集、模型或工具示例 |
| 克罗内克积 | 第02章 | 仅提及名称与符号,未展开计算 | | NumPy | 第02章 | 数值计算库 |
| VGG | 第01章 | 后续内容或发展示例,仅提名 | | GoogLeNet | 第01章 | 后续内容或发展示例,仅提名 | | ResNet | 第01章 | 后续内容或发展示例,仅提名 | | DenseNet | 第01章 | 后续内容或发展示例,仅提名 | | 深度RNN | 第01章 | 后续内容或发展示例,仅提名 | | 双向RNN | 第01章 | 后续内容或发展示例,仅提名 | | GRU | 第01章 | 后续内容或发展示例,仅提名 | | LSTM | 第01章 | 后续内容或发展示例,仅提名 | | 蒙特卡洛方法 | 第01章 | 后续内容或发展示例,仅提名 | | 变分推断 | 第01章 | 后续内容或发展示例,仅提名 | | 扩散模型 | 第01章 | 后续内容或发展示例,仅提名 |
| 支持向量机 | 第04章 | 核方法作为非线性映射示例 |
| Nadam | 第06章 | 优化算法发展示意中仅提名 | | AdaMax | 第06章 | 优化算法发展示意中仅提名 | | AMSGrad | 第06章 | 优化算法发展示意中仅提名 | | Nesterov动量 | 第06章 | 优化算法图与代码中出现但未展开 |
| Sobel核 | 第07章 | 图像边缘特征检测核,仅提名 | | Prewitt核 | 第07章 | 图像边缘特征检测核,仅提名 | | 中值池化 | 第07章 | 其他池化策略,仅提名 | | 随机池化 | 第07章 | 其他池化策略,仅提名 |
引用文献
| 标题 | 类型 | 出现章节 | 一句话语境 |
|---|---|---|---|
| Attention Is All You Need | 论文 | 第01章 | Transformer 与自注意力的发展背景 |
| TensorFlow | 框架 | 第01章 | 深度学习框架示例 |
| PyTorch | 框架 | 第01章 | 本书选用的深度学习框架 |
| PaddlePaddle | 框架 | 第01章 | 深度学习框架示例 |
资金安全问题案例
| 问题标题 | 问题卡 | 解决方案卡 | 出现章节 | 一句话说明 |
|---|
实践卡进度
| 序号 | 实践标题 | 实践方式 | 状态 | 关联章节 | 产出 |
|---|
| 001 | 深读自动求导 | 实现深读 | done | 第4、8章 | 实践卡 | | 002 | 深读多头注意力 | 实现深读 | done | 第9章 | 实践卡 |
实践候选筛选:done;合并重复的神经网络实现学习,选择两个有明确成熟源码入口、能回答不同机制问题的候选。安装步骤及未经核验的模型表现不单独生成实践。
相关主题
从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。
暂无公开主题。