来源书籍

深度学习

Skill 版本:v24 210 张卡片

[美]Ian Goodfellow(伊恩·古德费洛), [加]Aaron Courville(亚伦·库维尔), [加]Yoshua Bengio(约书亚·本吉奥) · 人民邮电出版社 · 2017-07-19

章节与卡片

01 第1章 引言

9 张卡片
  1. 深度学习的层次化概念方案 理解等级:初级 普通读书笔记卡
  2. 知识库硬编码的失败 理解等级:中级 普通读书笔记卡
  3. 表示与特征的关键作用 理解等级:中级 普通读书笔记卡
  4. 表示学习与自编码器 理解等级:中级 普通读书笔记卡
  5. 变差因素与解耦 理解等级:高级 普通读书笔记卡
  6. 深度学习分解复杂表示 理解等级:中级 结构图卡
  7. 深度的程序执行视角 理解等级:高级 普通读书笔记卡
  8. 度量模型深度的两条路径 理解等级:高级 普通读书笔记卡
  9. 深度学习发展的历史浪潮 理解等级:初级 普通读书笔记卡

02 第2章 线性代数

5 张卡片
  1. 矩阵的广播加法 理解等级:初级 普通读书笔记卡
  2. 范数与稀疏权衡 理解等级:中级 普通读书笔记卡
  3. 可逆矩阵的判定 理解等级:高级 普通读书笔记卡
  4. 特征分解与对称矩阵 理解等级:中级 普通读书笔记卡
  5. 奇异值分解与伪逆 理解等级:高级 普通读书笔记卡

03 第3章 概率与信息论

8 张卡片
  1. 不确定性的三种来源 理解等级:初级 普通读书笔记卡
  2. 频率派与贝叶斯概率 理解等级:中级 普通读书笔记卡
  3. 概率质量函数与密度函数 理解等级:初级 普通读书笔记卡
  4. 条件概率与贝叶斯规则 理解等级:中级 普通读书笔记卡
  5. 期望方差与协方差 理解等级:中级 普通读书笔记卡
  6. 高斯分布为何常用 理解等级:高级 普通读书笔记卡
  7. 香农熵与KL散度 理解等级:高级 普通读书笔记卡
  8. 结构化概率模型 理解等级:中级 结构图卡

04 第4章 数值计算

5 张卡片
  1. 上溢下溢与softmax稳定 理解等级:中级 普通读书笔记卡
  2. 病态条件与误差放大 理解等级:中级 普通读书笔记卡
  3. 梯度下降与最速下降法 理解等级:中级 普通读书笔记卡
  4. Hessian曲率与牛顿法 理解等级:高级 普通读书笔记卡
  5. KKT条件与约束优化 理解等级:高级 普通读书笔记卡

05 第5章 机器学习基础

18 张卡片
  1. 机器学习算法的三要素定义 理解等级:初级 普通读书笔记卡
  2. 监督与无监督学习之辨 理解等级:初级 普通读书笔记卡
  3. 线性回归的正规方程求解 理解等级:中级 普通读书笔记卡
  4. 泛化误差与独立同分布假设 理解等级:中级 普通读书笔记卡
  5. 模型容量欠拟合与过拟合 理解等级:中级 普通读书笔记卡
  6. 没有免费午餐定理 理解等级:高级 普通读书笔记卡
  7. 正则化与权重衰减 理解等级:中级 普通读书笔记卡
  8. 超参数与验证集划分 理解等级:中级 普通读书笔记卡
  9. 偏差方差权衡与均方误差 理解等级:中级 普通读书笔记卡
  10. 最大似然与KL散度 理解等级:中级 普通读书笔记卡
  11. 条件对数似然与MSE等价 理解等级:中级 普通读书笔记卡
  12. 贝叶斯统计与频率派之别 理解等级:中级 普通读书笔记卡
  13. MAP估计与权重衰减等价 理解等级:高级 普通读书笔记卡
  14. 支持向量机与核技巧 理解等级:中级 普通读书笔记卡
  15. 表示学习的三种标准 理解等级:中级 普通读书笔记卡
  16. 随机梯度下降的核心机制 理解等级:中级 普通读书笔记卡
  17. 高维数据的维数灾难 理解等级:中级 普通读书笔记卡
  18. 流形学习与流形假设 理解等级:中级 普通读书笔记卡

06 第6章 深度前馈网络

17 张卡片
  1. 前馈网络的函数近似本质 理解等级:初级 结构图卡
  2. 深度学习的学习表示策略 理解等级:中级 普通读书笔记卡
  3. XOR与特征空间变换 理解等级:中级 普通读书笔记卡
  4. 隐藏层非线性激活的必要性 理解等级:中级 普通读书笔记卡
  5. 非凸损失下的梯度训练 理解等级:高级 普通读书笔记卡
  6. 最大似然自动给出代价函数 理解等级:中级 普通读书笔记卡
  7. 均方与绝对误差的条件统计量 理解等级:高级 普通读书笔记卡
  8. logit与sigmoid输出单元 理解等级:中级 普通读书笔记卡
  9. softmax输出与饱和竞争 理解等级:中级 普通读书笔记卡
  10. 混合密度网络与多峰回归 理解等级:高级 普通读书笔记卡
  11. ReLU及其分段线性扩展 理解等级:中级 普通读书笔记卡
  12. sigmoid隐藏单元的饱和困境 理解等级:高级 普通读书笔记卡
  13. 万能近似定理的表达力与局限 理解等级:中级 普通读书笔记卡
  14. 深度网络的指数级表达优势 理解等级:高级 普通读书笔记卡
  15. 反向传播的计算图与链式法则 理解等级:中级 普通读书笔记卡
  16. 反向传播的动态规划本质 理解等级:高级 普通读书笔记卡
  17. 反向模式与前向模式微分 理解等级:高级 普通读书笔记卡

07 第7章 深度学习中的正则化

13 张卡片
  1. 正则化的偏差方差交易 理解等级:初级 普通读书笔记卡
  2. L2权重衰减的曲率缩放 理解等级:中级 普通读书笔记卡
  3. L1正则化与特征选择 理解等级:中级 普通读书笔记卡
  4. 范数惩罚的约束诠释 理解等级:高级 普通读书笔记卡
  5. 数据集增强与不变性 理解等级:中级 普通读书笔记卡
  6. 噪声鲁棒性与标签平滑 理解等级:高级 普通读书笔记卡
  7. 半监督与多任务学习 理解等级:中级 普通读书笔记卡
  8. 提前终止的正则化机制 理解等级:高级 普通读书笔记卡
  9. 参数共享与卷积网络 理解等级:中级 普通读书笔记卡
  10. 稀疏表示与激活稀疏 理解等级:中级 普通读书笔记卡
  11. 模型平均与Bagging 理解等级:中级 普通读书笔记卡
  12. Dropout的集成本质 理解等级:高级 普通读书笔记卡
  13. 对抗训练与对抗样本 理解等级:高级 普通读书笔记卡

08 第8章 深度模型中的优化

15 张卡片
  1. 训练优化与纯优化之别 理解等级:中级 普通读书笔记卡
  2. 经验风险与代理损失 理解等级:中级 普通读书笔记卡
  3. 小批量梯度估计的权衡 理解等级:高级 普通读书笔记卡
  4. 病态曲率让学习变慢 理解等级:高级 普通读书笔记卡
  5. 局部极小值与权重对称 理解等级:高级 普通读书笔记卡
  6. 高维鞍点比局部极小更常见 理解等级:高级 普通读书笔记卡
  7. 梯度消失与爆炸的成因 理解等级:高级 普通读书笔记卡
  8. 局部与全局结构的弱对应 理解等级:高级 普通读书笔记卡
  9. SGD与学习率衰减 理解等级:中级 普通读书笔记卡
  10. 动量与Nesterov加速 理解等级:高级 普通读书笔记卡
  11. 参数初始化与破坏对称性 理解等级:中级 普通读书笔记卡
  12. 自适应学习率算法演进 理解等级:高级 普通读书笔记卡
  13. 牛顿法与二阶近似 理解等级:高级 普通读书笔记卡
  14. 批标准化重参数化 理解等级:高级 普通读书笔记卡
  15. 预训练与易优化模型设计 理解等级:中级 普通读书笔记卡

09 第9章 卷积网络

12 张卡片
  1. 卷积运算的本质 理解等级:初级 普通读书笔记卡
  2. 卷积的稀疏交互机制 理解等级:中级 普通读书笔记卡
  3. 共享权重与平移等变 理解等级:中级 普通读书笔记卡
  4. 池化与平移不变性 理解等级:中级 普通读书笔记卡
  5. 无限强先验与欠拟合 理解等级:高级 普通读书笔记卡
  6. 步幅卷积与零填充 理解等级:中级 普通读书笔记卡
  7. 局部连接与平铺卷积 理解等级:中级 普通读书笔记卡
  8. 转置卷积与梯度传播 理解等级:高级 普通读书笔记卡
  9. 结构化输出与变尺寸输入 理解等级:高级 普通读书笔记卡
  10. 卷积的高效实现算法 理解等级:高级 普通读书笔记卡
  11. 无监督与随机特征 理解等级:中级 普通读书笔记卡
  12. 卷积网络的神经科学基础 理解等级:中级 普通读书笔记卡

10 第10章 序列建模:循环和递归网络

14 张卡片
  1. 循环网络的参数共享 理解等级:初级 普通读书笔记卡
  2. 计算图展开与有损摘要 理解等级:中级 普通读书笔记卡
  3. RNN三种连接设计模式 理解等级:中级 普通读书笔记卡
  4. BPTT与导师驱动训练 理解等级:高级 普通读书笔记卡
  5. RNN的有向图模型解释 理解等级:高级 普通读书笔记卡
  6. 序列建模的双向RNN 理解等级:中级 普通读书笔记卡
  7. 编码器-解码器序列到序列 理解等级:中级 普通读书笔记卡
  8. 树状递归神经网络 理解等级:中级 普通读书笔记卡
  9. 长期依赖的梯度困境 理解等级:高级 普通读书笔记卡
  10. 回声状态网络与储层计算 理解等级:高级 普通读书笔记卡
  11. 渗漏单元与多时间尺度 理解等级:中级 普通读书笔记卡
  12. LSTM门控记忆机制 理解等级:高级 普通读书笔记卡
  13. 梯度截断与信息流正则化 理解等级:中级 普通读书笔记卡
  14. 外显记忆与神经图灵机 理解等级:高级 普通读书笔记卡

11 第11章 实践方法论

7 张卡片
  1. 实践设计四步流程 理解等级:中级 结构图卡
  2. 性能度量与目标设定 理解等级:中级 普通读书笔记卡
  3. 默认基准模型的选择 理解等级:中级 操作参考卡
  4. 数据收集的决策判据 理解等级:中级 操作参考卡
  5. 超参数与有效容量 理解等级:高级 普通读书笔记卡
  6. 网格搜索与随机搜索 理解等级:中级 普通读书笔记卡
  7. 模型调试的验证策略 理解等级:中级 操作参考卡

12 第12章 应用

17 张卡片
  1. 联结主义与规模红利 理解等级:初级 普通读书笔记卡
  2. GPU并行与内存带宽 理解等级:中级 普通读书笔记卡
  3. 异步SGD与参数服务器 理解等级:中级 普通读书笔记卡
  4. 模型压缩与知识迁移 理解等级:中级 普通读书笔记卡
  5. 条件计算与级联推断 理解等级:中级 普通读书笔记卡
  6. 对比度归一化的两类 理解等级:中级 普通读书笔记卡
  7. 数据增强与不变性 理解等级:初级 普通读书笔记卡
  8. 语音识别的演进路线 理解等级:中级 普通读书笔记卡
  9. n-gram与平滑回退 理解等级:中级 普通读书笔记卡
  10. 词嵌入与神经语言模型 理解等级:中级 普通读书笔记卡
  11. 分层Softmax降本 理解等级:中级 普通读书笔记卡
  12. 重要采样加速输出层 理解等级:高级 普通读书笔记卡
  13. 编码器-解码器翻译 理解等级:中级 普通读书笔记卡
  14. 注意力机制三组件 理解等级:中级 普通读书笔记卡
  15. 协同过滤与冷启动 理解等级:中级 普通读书笔记卡
  16. 探索与开发权衡 理解等级:高级 普通读书笔记卡
  17. 关系嵌入与链接预测 理解等级:中级 普通读书笔记卡

13 第13章 线性因子模型

4 张卡片
  1. 线性因子模型的生成框架 理解等级:中级 普通读书笔记卡
  2. 概率PCA与因子分析 理解等级:高级 普通读书笔记卡
  3. 独立成分分析ICA 理解等级:高级 普通读书笔记卡
  4. 稀疏编码的非参数编码器 理解等级:高级 普通读书笔记卡

14 第14章 自编码器

8 张卡片
  1. 自编码器基本结构 理解等级:初级 结构图卡
  2. 欠完备自编码器与PCA 理解等级:中级 普通读书笔记卡
  3. 正则自编码器 理解等级:中级 普通读书笔记卡
  4. 稀疏自编码器 理解等级:高级 普通读书笔记卡
  5. 去噪自编码器 理解等级:中级 普通读书笔记卡
  6. 收缩自编码器 理解等级:高级 普通读书笔记卡
  7. 深度自编码器 理解等级:中级 普通读书笔记卡
  8. 自编码器的流形学习 理解等级:高级 普通读书笔记卡

15 第15章 表示学习

10 张卡片
  1. 表示决定任务难易 理解等级:初级 普通读书笔记卡
  2. 贪心逐层无监督预训练 理解等级:中级 普通读书笔记卡
  3. 预训练的有效性条件 理解等级:高级 普通读书笔记卡
  4. 迁移学习与领域自适应 理解等级:中级 普通读书笔记卡
  5. 一次学习与零次学习 理解等级:高级 普通读书笔记卡
  6. 理想表示对应潜在成因 理解等级:中级 普通读书笔记卡
  7. 显著性与对抗学习 理解等级:高级 普通读书笔记卡
  8. 分布式表示及指数优势 理解等级:中级 普通读书笔记卡
  9. 深度的指数增益 理解等级:高级 普通读书笔记卡
  10. 发现潜在原因的线索 理解等级:初级 结构图卡

16 第16章 深度学习中的结构化概率模型

10 张卡片
  1. 非结构化建模的四重障碍 理解等级:中级 普通读书笔记卡
  2. 接力赛中的直接作用建模 理解等级:中级 普通读书笔记卡
  3. 有向图的条件概率分解 理解等级:中级 普通读书笔记卡
  4. 无向模型的团因子分解 理解等级:中级 普通读书笔记卡
  5. 能量模型与配分函数归一化 理解等级:高级 普通读书笔记卡
  6. 分离与d-分离判定 理解等级:高级 普通读书笔记卡
  7. 有向与无向的相互转换 理解等级:高级 普通读书笔记卡
  8. 图模型的原始与吉布斯采样 理解等级:中级 普通读书笔记卡
  9. 潜变量依赖学习与近似推断 理解等级:高级 普通读书笔记卡
  10. 深度学习的图模型风格与RBM 理解等级:高级 普通读书笔记卡

17 第17章 蒙特卡罗方法

6 张卡片
  1. 蒙特卡罗估计的统计基础 理解等级:中级 普通读书笔记卡
  2. 重要采样降低估计方差 理解等级:高级 普通读书笔记卡
  3. 马尔可夫链蒙特卡罗收敛 理解等级:高级 普通读书笔记卡
  4. 吉布斯采样与块更新 理解等级:中级 普通读书笔记卡
  5. 峰值间混合挑战 理解等级:高级 普通读书笔记卡
  6. 回火与深度辅助混合 理解等级:高级 普通读书笔记卡

18 第18章 直面配分函数

7 张卡片
  1. 正负相分解 理解等级:初级 普通读书笔记卡
  2. 对比散度与虚假模态 理解等级:中级 普通读书笔记卡
  3. 持续性对比散度 理解等级:中级 普通读书笔记卡
  4. 伪似然估计 理解等级:中级 普通读书笔记卡
  5. 得分匹配与比率匹配 理解等级:中级 普通读书笔记卡
  6. 噪声对比估计 理解等级:高级 普通读书笔记卡
  7. 退火重要采样 理解等级:高级 普通读书笔记卡

19 第19章 近似推断

7 张卡片
  1. 难处理推断的根源 理解等级:初级 普通读书笔记卡
  2. 证据下界与推断即优化 理解等级:中级 普通读书笔记卡
  3. EM算法的坐标上升 理解等级:中级 普通读书笔记卡
  4. MAP推断与稀疏编码 理解等级:中级 普通读书笔记卡
  5. 均值场与结构化变分推断 理解等级:高级 普通读书笔记卡
  6. 变分法与最大熵分布 理解等级:高级 普通读书笔记卡
  7. 学成推断与醒眠算法 理解等级:中级 普通读书笔记卡

20 第20章 深度生成模型

18 张卡片
  1. 玻尔兹曼机的能量与潜变量 理解等级:中级 普通读书笔记卡
  2. 玻尔兹曼机的局部学习 理解等级:高级 普通读书笔记卡
  3. RBM二分结构 理解等级:中级 结构图卡
  4. RBM的对比散度训练 理解等级:中级 操作参考卡
  5. DBN混合图结构 理解等级:中级 结构图卡
  6. DBN贪心逐层训练 理解等级:中级 普通读书笔记卡
  7. DBM二分结构与块采样 理解等级:中级 普通读书笔记卡
  8. DBM均匀场推断 理解等级:高级 普通读书笔记卡
  9. 中心化DBM与MP-DBM 理解等级:高级 普通读书笔记卡
  10. 高斯伯努利RBM 理解等级:中级 普通读书笔记卡
  11. 实值数据的条件协方差建模 理解等级:高级 普通读书笔记卡
  12. 重参数化技巧 理解等级:中级 普通读书笔记卡
  13. REINFORCE与方差减小 理解等级:高级 普通读书笔记卡
  14. 变分自编码器的下界训练 理解等级:中级 普通读书笔记卡
  15. 生成式对抗网络的博弈框架 理解等级:中级 普通读书笔记卡
  16. 生成矩匹配网络的MMD目标 理解等级:高级 普通读书笔记卡
  17. 自回归网络与NADE 理解等级:中级 普通读书笔记卡
  18. 生成模型的评估困境 理解等级:高级 普通读书笔记卡

全书概览

《深度学习》阅读概览

  • 书名:深度学习
  • 作者:[美]Ian Goodfellow(伊恩·古德费洛)、[加]Aaron Courville(亚伦·库维尔)、[加]Yoshua Bengio(约书亚·本吉奥)
  • 出版社:人民邮电出版社,出版日期 2017-07-19
  • 执行模式:light
  • 建档 Skill 版本:v24
  • 建档进度:done
  • 优先级:P4
  • 评级:经典原理(高信息浓度 + 高稳定性:表示学习、反向传播、正则化与优化、卷积与循环网络、概率图模型、近似推断与生成模型等核心机制稳定可迁移;具体框架接口与算力条件按成书年代)
  • 内容形态:概念解析型(含大量数学推导,局部操作手册型片段)
  • 原书:books/20261105/深度学习 (伊恩·古德费洛 (Ian Goodfellow) etc.) .epub
  • 已读正文:第1—20章(20 个实质单元;版权声明、内容提要、作者简介、目录、参考文献、索引为非正文排除)
  • 整书笔记:_book_note.md(24 sections / 210 primary / 210 sources)
  • 阅读覆盖:_coverage.md
  • 知识卡:210 张(cards/),其中普通 198 / 结构图 8 / 操作参考 4
  • 实践卡:3 张(ideas/)
  • 实践候选筛选:done

章节进度追踪表

章节号 章节标题 状态 卡片数
01 第1章 引言 done 9
02 第2章 线性代数 done 5
03 第3章 概率与信息论 done 8
04 第4章 数值计算 done 5
05 第5章 机器学习基础 done 18
06 第6章 深度前馈网络 done 17
07 第7章 深度学习中的正则化 done 13
08 第8章 深度模型中的优化 done 15
09 第9章 卷积网络 done 12
10 第10章 序列建模:循环和递归网络 done 14
11 第11章 实践方法论 done 7
12 第12章 应用 done 17
13 第13章 线性因子模型 done 4
14 第14章 自编码器 done 8
15 第15章 表示学习 done 10
16 第16章 深度学习中的结构化概率模型 done 10
17 第17章 蒙特卡罗方法 done 6
18 第18章 直面配分函数 done 7
19 第19章 近似推断 done 7
20 第20章 深度生成模型 done 18

非正文排除

spine项 类型 排除理由
titlepage.xhtml 书名页 无正文
text/part0000_split_000.html(前段) 版权/内容提要/作者简介/目录 出版信息与目录,无实质讲解;本章正文自”第1章 引言”起
text/part0008.html 参考文献 文献列表,无实质讲解
text/part0009.html 索引 词项索引,无实质讲解

待关联术语

术语名 出现章节 一句话语境
(无) — 全书提名术语均已在正文卡片中给出实质解释,无需另登记

引用文献

| 标题 | 类型 | 出现章节 | 一句话语境 | | — | — | — | | (无) | — | — | 参考文献列表已整体排除;正文中的算法与论文引用均给出实质讲解并成卡 |

资金安全问题案例

问题标题 问题卡 解决方案卡 出现章节 一句话说明
(无) — — — 本书为深度学习教材,不涉及资金安全场景

实践卡进度

序号 实践标题 实践方式 状态 关联章节 产出
001 损失曲面与梯度流可视化 实现深读 done 第4/8章 ideas/idea-001-loss-surface.md(计划交付)
002 正则化手段对比实验 实现深读 done 第7章 ideas/idea-002-regularization-compare.md(计划交付)
003 从零实现变分自编码器 实现深读 done 第19/20章 ideas/idea-003-vae-from-scratch.md(计划交付)

相关主题

从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。

暂无公开主题。