来源书籍
深度学习
章节与卡片
01 第1章 引言
9 张卡片
- 深度学习的层次化概念方案 理解等级:初级 普通读书笔记卡
- 知识库硬编码的失败 理解等级:中级 普通读书笔记卡
- 表示与特征的关键作用 理解等级:中级 普通读书笔记卡
- 表示学习与自编码器 理解等级:中级 普通读书笔记卡
- 变差因素与解耦 理解等级:高级 普通读书笔记卡
- 深度学习分解复杂表示 理解等级:中级 结构图卡
- 深度的程序执行视角 理解等级:高级 普通读书笔记卡
- 度量模型深度的两条路径 理解等级:高级 普通读书笔记卡
- 深度学习发展的历史浪潮 理解等级:初级 普通读书笔记卡
02 第2章 线性代数
5 张卡片
03 第3章 概率与信息论
8 张卡片
- 不确定性的三种来源 理解等级:初级 普通读书笔记卡
- 频率派与贝叶斯概率 理解等级:中级 普通读书笔记卡
- 概率质量函数与密度函数 理解等级:初级 普通读书笔记卡
- 条件概率与贝叶斯规则 理解等级:中级 普通读书笔记卡
- 期望方差与协方差 理解等级:中级 普通读书笔记卡
- 高斯分布为何常用 理解等级:高级 普通读书笔记卡
- 香农熵与KL散度 理解等级:高级 普通读书笔记卡
- 结构化概率模型 理解等级:中级 结构图卡
04 第4章 数值计算
5 张卡片
- 上溢下溢与softmax稳定 理解等级:中级 普通读书笔记卡
- 病态条件与误差放大 理解等级:中级 普通读书笔记卡
- 梯度下降与最速下降法 理解等级:中级 普通读书笔记卡
- Hessian曲率与牛顿法 理解等级:高级 普通读书笔记卡
- KKT条件与约束优化 理解等级:高级 普通读书笔记卡
05 第5章 机器学习基础
18 张卡片
- 机器学习算法的三要素定义 理解等级:初级 普通读书笔记卡
- 监督与无监督学习之辨 理解等级:初级 普通读书笔记卡
- 线性回归的正规方程求解 理解等级:中级 普通读书笔记卡
- 泛化误差与独立同分布假设 理解等级:中级 普通读书笔记卡
- 模型容量欠拟合与过拟合 理解等级:中级 普通读书笔记卡
- 没有免费午餐定理 理解等级:高级 普通读书笔记卡
- 正则化与权重衰减 理解等级:中级 普通读书笔记卡
- 超参数与验证集划分 理解等级:中级 普通读书笔记卡
- 偏差方差权衡与均方误差 理解等级:中级 普通读书笔记卡
- 最大似然与KL散度 理解等级:中级 普通读书笔记卡
- 条件对数似然与MSE等价 理解等级:中级 普通读书笔记卡
- 贝叶斯统计与频率派之别 理解等级:中级 普通读书笔记卡
- MAP估计与权重衰减等价 理解等级:高级 普通读书笔记卡
- 支持向量机与核技巧 理解等级:中级 普通读书笔记卡
- 表示学习的三种标准 理解等级:中级 普通读书笔记卡
- 随机梯度下降的核心机制 理解等级:中级 普通读书笔记卡
- 高维数据的维数灾难 理解等级:中级 普通读书笔记卡
- 流形学习与流形假设 理解等级:中级 普通读书笔记卡
06 第6章 深度前馈网络
17 张卡片
- 前馈网络的函数近似本质 理解等级:初级 结构图卡
- 深度学习的学习表示策略 理解等级:中级 普通读书笔记卡
- XOR与特征空间变换 理解等级:中级 普通读书笔记卡
- 隐藏层非线性激活的必要性 理解等级:中级 普通读书笔记卡
- 非凸损失下的梯度训练 理解等级:高级 普通读书笔记卡
- 最大似然自动给出代价函数 理解等级:中级 普通读书笔记卡
- 均方与绝对误差的条件统计量 理解等级:高级 普通读书笔记卡
- logit与sigmoid输出单元 理解等级:中级 普通读书笔记卡
- softmax输出与饱和竞争 理解等级:中级 普通读书笔记卡
- 混合密度网络与多峰回归 理解等级:高级 普通读书笔记卡
- ReLU及其分段线性扩展 理解等级:中级 普通读书笔记卡
- sigmoid隐藏单元的饱和困境 理解等级:高级 普通读书笔记卡
- 万能近似定理的表达力与局限 理解等级:中级 普通读书笔记卡
- 深度网络的指数级表达优势 理解等级:高级 普通读书笔记卡
- 反向传播的计算图与链式法则 理解等级:中级 普通读书笔记卡
- 反向传播的动态规划本质 理解等级:高级 普通读书笔记卡
- 反向模式与前向模式微分 理解等级:高级 普通读书笔记卡
07 第7章 深度学习中的正则化
13 张卡片
- 正则化的偏差方差交易 理解等级:初级 普通读书笔记卡
- L2权重衰减的曲率缩放 理解等级:中级 普通读书笔记卡
- L1正则化与特征选择 理解等级:中级 普通读书笔记卡
- 范数惩罚的约束诠释 理解等级:高级 普通读书笔记卡
- 数据集增强与不变性 理解等级:中级 普通读书笔记卡
- 噪声鲁棒性与标签平滑 理解等级:高级 普通读书笔记卡
- 半监督与多任务学习 理解等级:中级 普通读书笔记卡
- 提前终止的正则化机制 理解等级:高级 普通读书笔记卡
- 参数共享与卷积网络 理解等级:中级 普通读书笔记卡
- 稀疏表示与激活稀疏 理解等级:中级 普通读书笔记卡
- 模型平均与Bagging 理解等级:中级 普通读书笔记卡
- Dropout的集成本质 理解等级:高级 普通读书笔记卡
- 对抗训练与对抗样本 理解等级:高级 普通读书笔记卡
08 第8章 深度模型中的优化
15 张卡片
- 训练优化与纯优化之别 理解等级:中级 普通读书笔记卡
- 经验风险与代理损失 理解等级:中级 普通读书笔记卡
- 小批量梯度估计的权衡 理解等级:高级 普通读书笔记卡
- 病态曲率让学习变慢 理解等级:高级 普通读书笔记卡
- 局部极小值与权重对称 理解等级:高级 普通读书笔记卡
- 高维鞍点比局部极小更常见 理解等级:高级 普通读书笔记卡
- 梯度消失与爆炸的成因 理解等级:高级 普通读书笔记卡
- 局部与全局结构的弱对应 理解等级:高级 普通读书笔记卡
- SGD与学习率衰减 理解等级:中级 普通读书笔记卡
- 动量与Nesterov加速 理解等级:高级 普通读书笔记卡
- 参数初始化与破坏对称性 理解等级:中级 普通读书笔记卡
- 自适应学习率算法演进 理解等级:高级 普通读书笔记卡
- 牛顿法与二阶近似 理解等级:高级 普通读书笔记卡
- 批标准化重参数化 理解等级:高级 普通读书笔记卡
- 预训练与易优化模型设计 理解等级:中级 普通读书笔记卡
09 第9章 卷积网络
12 张卡片
- 卷积运算的本质 理解等级:初级 普通读书笔记卡
- 卷积的稀疏交互机制 理解等级:中级 普通读书笔记卡
- 共享权重与平移等变 理解等级:中级 普通读书笔记卡
- 池化与平移不变性 理解等级:中级 普通读书笔记卡
- 无限强先验与欠拟合 理解等级:高级 普通读书笔记卡
- 步幅卷积与零填充 理解等级:中级 普通读书笔记卡
- 局部连接与平铺卷积 理解等级:中级 普通读书笔记卡
- 转置卷积与梯度传播 理解等级:高级 普通读书笔记卡
- 结构化输出与变尺寸输入 理解等级:高级 普通读书笔记卡
- 卷积的高效实现算法 理解等级:高级 普通读书笔记卡
- 无监督与随机特征 理解等级:中级 普通读书笔记卡
- 卷积网络的神经科学基础 理解等级:中级 普通读书笔记卡
10 第10章 序列建模:循环和递归网络
14 张卡片
- 循环网络的参数共享 理解等级:初级 普通读书笔记卡
- 计算图展开与有损摘要 理解等级:中级 普通读书笔记卡
- RNN三种连接设计模式 理解等级:中级 普通读书笔记卡
- BPTT与导师驱动训练 理解等级:高级 普通读书笔记卡
- RNN的有向图模型解释 理解等级:高级 普通读书笔记卡
- 序列建模的双向RNN 理解等级:中级 普通读书笔记卡
- 编码器-解码器序列到序列 理解等级:中级 普通读书笔记卡
- 树状递归神经网络 理解等级:中级 普通读书笔记卡
- 长期依赖的梯度困境 理解等级:高级 普通读书笔记卡
- 回声状态网络与储层计算 理解等级:高级 普通读书笔记卡
- 渗漏单元与多时间尺度 理解等级:中级 普通读书笔记卡
- LSTM门控记忆机制 理解等级:高级 普通读书笔记卡
- 梯度截断与信息流正则化 理解等级:中级 普通读书笔记卡
- 外显记忆与神经图灵机 理解等级:高级 普通读书笔记卡
11 第11章 实践方法论
7 张卡片
12 第12章 应用
17 张卡片
- 联结主义与规模红利 理解等级:初级 普通读书笔记卡
- GPU并行与内存带宽 理解等级:中级 普通读书笔记卡
- 异步SGD与参数服务器 理解等级:中级 普通读书笔记卡
- 模型压缩与知识迁移 理解等级:中级 普通读书笔记卡
- 条件计算与级联推断 理解等级:中级 普通读书笔记卡
- 对比度归一化的两类 理解等级:中级 普通读书笔记卡
- 数据增强与不变性 理解等级:初级 普通读书笔记卡
- 语音识别的演进路线 理解等级:中级 普通读书笔记卡
- n-gram与平滑回退 理解等级:中级 普通读书笔记卡
- 词嵌入与神经语言模型 理解等级:中级 普通读书笔记卡
- 分层Softmax降本 理解等级:中级 普通读书笔记卡
- 重要采样加速输出层 理解等级:高级 普通读书笔记卡
- 编码器-解码器翻译 理解等级:中级 普通读书笔记卡
- 注意力机制三组件 理解等级:中级 普通读书笔记卡
- 协同过滤与冷启动 理解等级:中级 普通读书笔记卡
- 探索与开发权衡 理解等级:高级 普通读书笔记卡
- 关系嵌入与链接预测 理解等级:中级 普通读书笔记卡
13 第13章 线性因子模型
4 张卡片
- 线性因子模型的生成框架 理解等级:中级 普通读书笔记卡
- 概率PCA与因子分析 理解等级:高级 普通读书笔记卡
- 独立成分分析ICA 理解等级:高级 普通读书笔记卡
- 稀疏编码的非参数编码器 理解等级:高级 普通读书笔记卡
14 第14章 自编码器
8 张卡片
15 第15章 表示学习
10 张卡片
- 表示决定任务难易 理解等级:初级 普通读书笔记卡
- 贪心逐层无监督预训练 理解等级:中级 普通读书笔记卡
- 预训练的有效性条件 理解等级:高级 普通读书笔记卡
- 迁移学习与领域自适应 理解等级:中级 普通读书笔记卡
- 一次学习与零次学习 理解等级:高级 普通读书笔记卡
- 理想表示对应潜在成因 理解等级:中级 普通读书笔记卡
- 显著性与对抗学习 理解等级:高级 普通读书笔记卡
- 分布式表示及指数优势 理解等级:中级 普通读书笔记卡
- 深度的指数增益 理解等级:高级 普通读书笔记卡
- 发现潜在原因的线索 理解等级:初级 结构图卡
16 第16章 深度学习中的结构化概率模型
10 张卡片
- 非结构化建模的四重障碍 理解等级:中级 普通读书笔记卡
- 接力赛中的直接作用建模 理解等级:中级 普通读书笔记卡
- 有向图的条件概率分解 理解等级:中级 普通读书笔记卡
- 无向模型的团因子分解 理解等级:中级 普通读书笔记卡
- 能量模型与配分函数归一化 理解等级:高级 普通读书笔记卡
- 分离与d-分离判定 理解等级:高级 普通读书笔记卡
- 有向与无向的相互转换 理解等级:高级 普通读书笔记卡
- 图模型的原始与吉布斯采样 理解等级:中级 普通读书笔记卡
- 潜变量依赖学习与近似推断 理解等级:高级 普通读书笔记卡
- 深度学习的图模型风格与RBM 理解等级:高级 普通读书笔记卡
17 第17章 蒙特卡罗方法
6 张卡片
- 蒙特卡罗估计的统计基础 理解等级:中级 普通读书笔记卡
- 重要采样降低估计方差 理解等级:高级 普通读书笔记卡
- 马尔可夫链蒙特卡罗收敛 理解等级:高级 普通读书笔记卡
- 吉布斯采样与块更新 理解等级:中级 普通读书笔记卡
- 峰值间混合挑战 理解等级:高级 普通读书笔记卡
- 回火与深度辅助混合 理解等级:高级 普通读书笔记卡
18 第18章 直面配分函数
7 张卡片
19 第19章 近似推断
7 张卡片
- 难处理推断的根源 理解等级:初级 普通读书笔记卡
- 证据下界与推断即优化 理解等级:中级 普通读书笔记卡
- EM算法的坐标上升 理解等级:中级 普通读书笔记卡
- MAP推断与稀疏编码 理解等级:中级 普通读书笔记卡
- 均值场与结构化变分推断 理解等级:高级 普通读书笔记卡
- 变分法与最大熵分布 理解等级:高级 普通读书笔记卡
- 学成推断与醒眠算法 理解等级:中级 普通读书笔记卡
20 第20章 深度生成模型
18 张卡片
- 玻尔兹曼机的能量与潜变量 理解等级:中级 普通读书笔记卡
- 玻尔兹曼机的局部学习 理解等级:高级 普通读书笔记卡
- RBM二分结构 理解等级:中级 结构图卡
- RBM的对比散度训练 理解等级:中级 操作参考卡
- DBN混合图结构 理解等级:中级 结构图卡
- DBN贪心逐层训练 理解等级:中级 普通读书笔记卡
- DBM二分结构与块采样 理解等级:中级 普通读书笔记卡
- DBM均匀场推断 理解等级:高级 普通读书笔记卡
- 中心化DBM与MP-DBM 理解等级:高级 普通读书笔记卡
- 高斯伯努利RBM 理解等级:中级 普通读书笔记卡
- 实值数据的条件协方差建模 理解等级:高级 普通读书笔记卡
- 重参数化技巧 理解等级:中级 普通读书笔记卡
- REINFORCE与方差减小 理解等级:高级 普通读书笔记卡
- 变分自编码器的下界训练 理解等级:中级 普通读书笔记卡
- 生成式对抗网络的博弈框架 理解等级:中级 普通读书笔记卡
- 生成矩匹配网络的MMD目标 理解等级:高级 普通读书笔记卡
- 自回归网络与NADE 理解等级:中级 普通读书笔记卡
- 生成模型的评估困境 理解等级:高级 普通读书笔记卡
全书概览
《深度学习》阅读概览
- 书名:深度学习
- 作者:[美]Ian Goodfellow(伊恩·古德费洛)、[加]Aaron Courville(亚伦·库维尔)、[加]Yoshua Bengio(约书亚·本吉奥)
- 出版社:人民邮电出版社,出版日期 2017-07-19
- 执行模式:light
- 建档 Skill 版本:v24
- 建档进度:done
- 优先级:P4
- 评级:经典原理(高信息浓度 + 高稳定性:表示学习、反向传播、正则化与优化、卷积与循环网络、概率图模型、近似推断与生成模型等核心机制稳定可迁移;具体框架接口与算力条件按成书年代)
- 内容形态:概念解析型(含大量数学推导,局部操作手册型片段)
- 原书:
books/20261105/深度学习 (伊恩·古德费洛 (Ian Goodfellow) etc.) .epub - 已读正文:第1—20章(20 个实质单元;版权声明、内容提要、作者简介、目录、参考文献、索引为非正文排除)
- 整书笔记:
_book_note.md(24 sections / 210 primary / 210 sources) - 阅读覆盖:
_coverage.md - 知识卡:210 张(cards/),其中普通 198 / 结构图 8 / 操作参考 4
- 实践卡:3 张(ideas/)
- 实践候选筛选:done
章节进度追踪表
| 章节号 | 章节标题 | 状态 | 卡片数 |
|---|---|---|---|
| 01 | 第1章 引言 | done | 9 |
| 02 | 第2章 线性代数 | done | 5 |
| 03 | 第3章 概率与信息论 | done | 8 |
| 04 | 第4章 数值计算 | done | 5 |
| 05 | 第5章 机器学习基础 | done | 18 |
| 06 | 第6章 深度前馈网络 | done | 17 |
| 07 | 第7章 深度学习中的正则化 | done | 13 |
| 08 | 第8章 深度模型中的优化 | done | 15 |
| 09 | 第9章 卷积网络 | done | 12 |
| 10 | 第10章 序列建模:循环和递归网络 | done | 14 |
| 11 | 第11章 实践方法论 | done | 7 |
| 12 | 第12章 应用 | done | 17 |
| 13 | 第13章 线性因子模型 | done | 4 |
| 14 | 第14章 自编码器 | done | 8 |
| 15 | 第15章 表示学习 | done | 10 |
| 16 | 第16章 深度学习中的结构化概率模型 | done | 10 |
| 17 | 第17章 蒙特卡罗方法 | done | 6 |
| 18 | 第18章 直面配分函数 | done | 7 |
| 19 | 第19章 近似推断 | done | 7 |
| 20 | 第20章 深度生成模型 | done | 18 |
非正文排除
| spine项 | 类型 | 排除理由 |
|---|---|---|
| titlepage.xhtml | 书名页 | 无正文 |
| text/part0000_split_000.html(前段) | 版权/内容提要/作者简介/目录 | 出版信息与目录,无实质讲解;本章正文自”第1章 引言”起 |
| text/part0008.html | 参考文献 | 文献列表,无实质讲解 |
| text/part0009.html | 索引 | 词项索引,无实质讲解 |
待关联术语
| 术语名 | 出现章节 | 一句话语境 |
|---|---|---|
| (无) | — | 全书提名术语均已在正文卡片中给出实质解释,无需另登记 |
引用文献
| 标题 | 类型 | 出现章节 | 一句话语境 | | — | — | — | | (无) | — | — | 参考文献列表已整体排除;正文中的算法与论文引用均给出实质讲解并成卡 |
资金安全问题案例
| 问题标题 | 问题卡 | 解决方案卡 | 出现章节 | 一句话说明 |
|---|---|---|---|---|
| (无) | — | — | — | 本书为深度学习教材,不涉及资金安全场景 |
实践卡进度
| 序号 | 实践标题 | 实践方式 | 状态 | 关联章节 | 产出 |
|---|---|---|---|---|---|
| 001 | 损失曲面与梯度流可视化 | 实现深读 | done | 第4/8章 | ideas/idea-001-loss-surface.md(计划交付) |
| 002 | 正则化手段对比实验 | 实现深读 | done | 第7章 | ideas/idea-002-regularization-compare.md(计划交付) |
| 003 | 从零实现变分自编码器 | 实现深读 | done | 第19/20章 | ideas/idea-003-vae-from-scratch.md(计划交付) |
相关主题
从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。
暂无公开主题。