来源书籍
用Python实现深度学习框架
高信息浓度、高稳定性。抽样包括前言、模型与训练、优化方法、神经元、分布式训练和工业框架概述:书中解释计算图、梯度及模型设计动机;基础数学与机制较耐久,示例代码和具体工程技术则随版本变化。 [整书笔记](_book_note.md) · [阅读覆盖](_coverage.md) · [工作流交接](_workflow.md)
章节与卡片
01 机器学习与模型
6 张卡片
02 计算图
18 张卡片
- 计算图节点与有向边 理解等级:中级 普通读书笔记卡
- 按需递归前向计算 理解等级:中级 普通读书笔记卡
- 矩阵形状决定乘法 理解等级:中级 普通读书笔记卡
- 分类与回归 理解等级:中级 普通读书笔记卡
- 方向导数 理解等级:中级 普通读书笔记卡
- 梯度与方向导数 理解等级:中级 普通读书笔记卡
- 梯度下降与步长 理解等级:中级 普通读书笔记卡
- 梯度场的闭合路径 理解等级:中级 普通读书笔记卡
- 雅可比矩阵 理解等级:中级 普通读书笔记卡
- 雅可比局部线性近似 理解等级:中级 普通读书笔记卡
- 链式法则与反向传播 理解等级:中级 普通读书笔记卡
- 多路径梯度求和 理解等级:中级 普通读书笔记卡
- 训练一轮的缓存更新 理解等级:中级 普通读书笔记卡
- 变量更新使下游失效 理解等级:中级 普通读书笔记卡
- 节点类的协作 理解等级:中级 结构图卡
- 矩阵乘法的雅可比 理解等级:中级 普通读书笔记卡
- 训练轮次与准确率 理解等级:初级 普通读书笔记卡
- 训练集与测试集评估 理解等级:初级 普通读书笔记卡
03 优化器
10 张卡片
- 优化器封装训练步骤 理解等级:中级 结构图卡
- 批量随机与小批量 理解等级:中级 普通读书笔记卡
- 平均损失与平均梯度 理解等级:中级 普通读书笔记卡
- 批次维度与广播 理解等级:中级 普通读书笔记卡
- 学习率与朴素更新 理解等级:中级 普通读书笔记卡
- 狭长谷中的学习率 理解等级:中级 普通读书笔记卡
- 动量累积历史方向 理解等级:中级 普通读书笔记卡
- AdaGrad逐分量缩放 理解等级:中级 普通读书笔记卡
- RMSProp衰减平方历史 理解等级:中级 普通读书笔记卡
- Adam的一二阶动量 理解等级:中级 普通读书笔记卡
04 逻辑回归
8 张卡片
- 对数损失与分类边界 理解等级:中级 普通读书笔记卡
- Logistic函数 理解等级:中级 普通读书笔记卡
- 分类阈值与错误代价 理解等级:中级 普通读书笔记卡
- Softmax多分类 理解等级:中级 普通读书笔记卡
- 双类别Softmax与Logistic 理解等级:中级 普通读书笔记卡
- 独热标签与交叉熵 理解等级:中级 普通读书笔记卡
- Softmax交叉熵梯度 理解等级:中级 普通读书笔记卡
- 多分类模型的形状 理解等级:中级 普通读书笔记卡
05 神经网络
8 张卡片
- 神经元与激活函数 理解等级:中级 普通读书笔记卡
- Tanh与Logistic 理解等级:中级 普通读书笔记卡
- ReLU与负半轴斜率 理解等级:中级 普通读书笔记卡
- 连接神经元形成网络 理解等级:中级 普通读书笔记卡
- 全连接层的矩阵表示 理解等级:中级 普通读书笔记卡
- 隐藏层改变表示空间 理解等级:中级 普通读书笔记卡
- 网络宽度深度与表达 理解等级:中级 普通读书笔记卡
- 隐藏层作为特征提取 理解等级:中级 普通读书笔记卡
06 非全连接神经网络
9 张卡片
- 二次特征与非线性 理解等级:中级 普通读书笔记卡
- 重塑和拼接的雅可比 理解等级:中级 普通读书笔记卡
- 因子分解共享交互参数 理解等级:高级 普通读书笔记卡
- 低秩二次型的边界 理解等级:高级 普通读书笔记卡
- 稀疏输入的嵌入查表 理解等级:高级 普通读书笔记卡
- 因子分解示例的转置 理解等级:高级 普通读书笔记卡
- Wide与Deep组合 理解等级:中级 结构图卡
- DeepFM共享嵌入 理解等级:中级 结构图卡
- 样本唯一标识与过拟合 理解等级:中级 普通读书笔记卡
07 循环神经网络
6 张卡片
08 卷积神经网络
10 张卡片
09 训练与评估
8 张卡片
10 模型保存、预测和服务
6 张卡片
- 离线与在线推理 理解等级:中级 普通读书笔记卡
- 保存结构与参数 理解等级:中级 普通读书笔记卡
- 模型加载与前向预测 理解等级:中级 普通读书笔记卡
- 推理服务的输入输出契约 理解等级:中级 普通读书笔记卡
- gRPC与结构化消息 理解等级:中级 普通读书笔记卡
- 推理图的并发状态 理解等级:中级 普通读书笔记卡
11 分布式训练
14 张卡片
- 数据并行与模型并行 理解等级:中级 普通读书笔记卡
- 分布式梯度汇总 理解等级:中级 普通读书笔记卡
- 参数服务器与环形规约 理解等级:中级 普通读书笔记卡
- 同步与异步参数更新 理解等级:中级 普通读书笔记卡
- 分布式训练通信工具 理解等级:中级 普通读书笔记卡
- 梯度服务器的同步轮次 理解等级:高级 普通读书笔记卡
- 同步屏障与故障边界 理解等级:高级 普通读书笔记卡
- 分布式参数统一初始化 理解等级:高级 普通读书笔记卡
- 环形规约与全量收集 理解等级:中级 普通读书笔记卡
- 环形规约的通信量 理解等级:中级 普通读书笔记卡
- 环形节点的双重角色 理解等级:高级 普通读书笔记卡
- 环形阶段的状态协调 理解等级:高级 普通读书笔记卡
- 环形初始化的旧值风险 理解等级:高级 普通读书笔记卡
- 分布式性能比较 理解等级:中级 普通读书笔记卡
12 工业级深度学习框架
11 张卡片
- 张量批次与广播 理解等级:中级 普通读书笔记卡
- 框架前端与执行后端 理解等级:中级 普通读书笔记卡
- GPU并行与矩阵计算 理解等级:中级 普通读书笔记卡
- 训练数据输入管线 理解等级:中级 普通读书笔记卡
- 计算图的模型并行 理解等级:中级 普通读书笔记卡
- 静态图与动态图 理解等级:中级 普通读书笔记卡
- 混合精度的范围与舍入 理解等级:中级 普通读书笔记卡
- 计算图融合与编译 理解等级:中级 普通读书笔记卡
- 端侧推理的模型适配 理解等级:中级 普通读书笔记卡
- CuPy与GPU数组计算 理解等级:中级 延伸参考卡
- 虚拟GPU与资源抽象 理解等级:中级 延伸参考卡
00
5 张卡片
- 模型实现的验证 理解等级:中级 普通读书笔记卡
- 实现促进理解 理解等级:中级 普通读书笔记卡
- 模型自由度与调参 理解等级:中级 普通读书笔记卡
- 理解公式与实现 理解等级:中级 普通读书笔记卡
- Minix与教学式实现 理解等级:初级 延伸参考卡
全书概览
《用Python实现深度学习框架》概览
Skill 版本:book-notes v24
执行模式:light
建档进度:done
四象限评级:经典原理
理由:高信息浓度、高稳定性。抽样包括前言、模型与训练、优化方法、神经元、分布式训练和工业框架概述:书中解释计算图、梯度及模型设计动机;基础数学与机制较耐久,示例代码和具体工程技术则随版本变化。
整书笔记 · 阅读覆盖 · 工作流交接
章节进度追踪表
| 章节号 | 章节标题 | 状态 | 卡片数 |
|---|---|---|---|
| 01 | 机器学习与模型 | done | 6 |
| 02 | 计算图 | done | 18 |
| 03 | 优化器 | done | 10 |
| 04 | 逻辑回归 | done | 8 |
| 05 | 神经网络 | done | 8 |
| 06 | 非全连接神经网络 | done | 9 |
| 07 | 循环神经网络 | done | 6 |
| 08 | 卷积神经网络 | done | 10 |
| 09 | 训练与评估 | done | 8 |
| 10 | 模型保存、预测和服务 | done | 6 |
| 11 | 分布式训练 | done | 14 |
| 12 | 工业级深度学习框架 | done | 11 |
| S003 | 前言 | done | 5 |
| S004 | 内容概览 | done | 0 |
| S005 | 读者对象 | done | 0 |
| S009 | 第 1 章 机器学习与模型 | done | 0 |
| S010 | 1.1 模型 | done | 1 |
| S011 | 1.2 参数与训练 | done | 3 |
| S012 | 1.3 损失函数 | done | 1 |
| S013 | 1.4 计算图的训练 | done | 1 |
| S014 | 1.5 小结 | done | 0 |
| S015 | 第 2 章 计算图 | done | 1 |
| S016 | 2.1 什么是计算图 | done | 1 |
| S017 | 2.2 前向传播 | done | 2 |
| S018 | 2.3 函数优化与梯度下降法 | done | 4 |
| S019 | 2.4 链式法则与反向传播 | done | 4 |
| S020 | 2.5 在计算图上执行梯度下降法 | done | 1 |
| S021 | 2.6 节点类及其子类 | done | 3 |
| S022 | 2.7 用计算图搭建ADALINE并训练 | done | 2 |
| S023 | 2.8 小结 | done | 0 |
| S024 | 第 3 章 优化器 | done | 0 |
| S025 | 3.1 优化流程的抽象实现 | done | 1 |
| S026 | 3.2 BGD、SGD和MBGD | done | 3 |
| S027 | 3.3 梯度下降优化器 | done | 1 |
| S028 | 3.4 朴素梯度下降法的局限 | done | 1 |
| S029 | 3.5 冲量优化器 | done | 1 |
| S030 | 3.6 AdaGrad优化器 | done | 1 |
| S031 | 3.7 RMSProp优化器 | done | 1 |
| S032 | 3.8 Adam优化器 | done | 1 |
| S033 | 3.9 小结 | done | 0 |
| S035 | 第 4 章 逻辑回归 | done | 0 |
| S036 | 4.1 对数损失函数 | done | 1 |
| S037 | 4.2 Logistic函数 | done | 1 |
| S038 | 4.3 二分类逻辑回归 | done | 1 |
| S039 | 4.4 多分类逻辑回归 | done | 2 |
| S040 | 4.5 交叉熵 | done | 2 |
| S041 | 4.6 实例:鸢尾花 | done | 1 |
| S042 | 4.7 小结 | done | 0 |
| S043 | 第 5 章 神经网络 | done | 0 |
| S044 | 5.1 神经元与激活函数 | done | 3 |
| S045 | 5.2 神经网络 | done | 1 |
| S046 | 5.3 多层全连接神经网络 | done | 1 |
| S047 | 5.4 多个全连接层的意义 | done | 2 |
| S048 | 5.5 实例:鸢尾花 | done | 0 |
| S049 | 5.6 实例:手写数字识别 | done | 0 |
| S050 | 5.7 小结 | done | 1 |
| S051 | 第 6 章 非全连接神经网络 | done | 0 |
| S052 | 6.1 带二次项的逻辑回归 | done | 2 |
| S053 | 6.2 因子分解机 | done | 4 |
| S054 | 6.3 Wide & Deep | done | 1 |
| S055 | 6.4 DeepFM | done | 1 |
| S056 | 6.5 实例:泰坦尼克号幸存者 | done | 1 |
| S057 | 6.6 小结 | done | 0 |
| S058 | 第 7 章 循环神经网络 | done | 1 |
| S059 | 7.1 RNN的结构 | done | 1 |
| S060 | 7.2 RNN的输出 | done | 1 |
| S061 | 7.3 实例:正弦波与方波 | done | 1 |
| S062 | 7.4 变长序列 | done | 1 |
| S063 | 7.5 实例:3D电磁发音仪单词识别 | done | 1 |
| S064 | 7.6 小结 | done | 0 |
| S065 | 第 8 章 卷积神经网络 | done | 1 |
| S066 | 8.1 蒙德里安与莫奈 | done | 0 |
| S067 | 8.2 滤波器 | done | 3 |
| S068 | 8.3 可训练的滤波器 | done | 1 |
| S069 | 8.4 卷积层 | done | 1 |
| S070 | 8.5 池化层 | done | 2 |
| S071 | 8.6 CNN的结构 | done | 1 |
| S072 | 8.7 实例:手写数字识别 | done | 0 |
| S073 | 8.8 小结 | done | 1 |
| S075 | 第 9 章 训练与评估 | done | 0 |
| S076 | 9.1 训练和Trainer训练器 | done | 1 |
| S077 | 9.2 评估和Metrics节点 | done | 1 |
| S078 | 9.3 混淆矩阵 | done | 1 |
| S079 | 9.4 正确率 | done | 1 |
| S080 | 9.5 查准率 | done | 1 |
| S081 | 9.6 查全率 | done | 1 |
| S082 | 9.7 ROC曲线和AUC | done | 2 |
| S083 | 9.8 小结 | done | 0 |
| S084 | 第 10 章 模型保存、预测和服务 | done | 1 |
| S085 | 10.1 模型保存 | done | 1 |
| S086 | 10.2 模型加载和预测 | done | 1 |
| S087 | 10.3 模型服务 | done | 3 |
| S088 | 10.4 客户端 | done | 0 |
| S089 | 10.5 小结 | done | 0 |
| S090 | 第 11 章 分布式训练 | done | 0 |
| S091 | 11.1 分布式训练的原理 | done | 5 |
| S092 | 11.2 基于参数服务器的架构 | done | 3 |
| S093 | 11.3 Ring AllReduce原理 | done | 2 |
| S094 | 11.4 Ring AllReduce架构实现 | done | 3 |
| S095 | 11.5 分布式训练性能评测 | done | 1 |
| S096 | 11.6 小结 | done | 0 |
| S097 | 第 12 章 工业级深度学习框架 | done | 0 |
| S098 | 12.1 张量 | done | 1 |
| S099 | 12.2 计算加速 | done | 1 |
| S100 | 12.3 GPU | done | 2 |
| S101 | 12.4 数据接口 | done | 1 |
| S102 | 12.5 模型并行 | done | 2 |
| S103 | 12.6 静态图和动态图 | done | 1 |
| S104 | 12.7 混合精度训练 | done | 1 |
| S105 | 12.8 图优化和编译优化 | done | 1 |
| S106 | 12.9 移动端和嵌入式端 | done | 1 |
| S107 | 12.10 小结 | done | 0 |
非正文排除
| spine项 | 类型 | 排除理由 |
|---|---|---|
| S000 | 封面图 | 封面图,不含本书实质正文 |
| S001 | 版权信息 | 版权信息,不含本书实质正文 |
| S002 | 纯目录 | 纯目录,不含本书实质正文 |
| S006 | 代码资源及联系信息 | 代码资源及联系信息,不含本书实质正文 |
| S007 | 致谢 | 致谢,不含本书实质正文 |
| S008 | 第一部分标题页 | 第一部分标题页,不含本书实质正文 |
| S034 | 第二部分标题页 | 第二部分标题页,不含本书实质正文 |
| S074 | 第三部分标题页 | 第三部分标题页,不含本书实质正文 |
| S108 | 作者简介 | 作者简介,不含本书实质正文 |
| S109 | 电子书售后信息 | 电子书售后信息,不含本书实质正文 |
待关联术语
| 术语名 | 出现章节 | 一句话语境 |
|---|---|---|
| LSTM | 7.2 | 作为更复杂的循环网络结构被提及,未展开。 |
| Photoshop | 8.1 | 示例使用软件中的查找边缘操作。 |
| VGG16 | 8.6 | 作为典型 CNN 层次结构图示,未展开其完整设计。 |
| Socket | 11.1 | 列作进程间通信技术,未展开。 |
| RDMA | 11.1 | 列作进程间通信技术,未展开。 |
| Tree AllReduce | 11.3 | 被提及为树状规约架构,未展开。 |
| AlexNet | 11.5、12.3 | 作为实验模型及历史竞赛模型提及,未展开结构。 |
| 词袋编码 | 12.4 | 作为文本特征处理示例提及,未展开。 |
| Dropout | 前言 | 提及为训练中引入随机性的正则化方法,未展开。 |
| 网格搜索 | 前言 | 作为超参数搜索方法提及,未展开。 |
| 随机搜索 | 前言 | 作为超参数搜索方法提及,未展开。 |
| 贝叶斯优化 | 前言 | 作为非参数优化方法提及,未展开。 |
| 遗传算法 | 前言 | 作为优化方法提及,未展开。 |
引用文献
| 标题 | 类型 | 出现章节 | 一句话语境 |
|---|---|---|---|
| 《深入理解神经网络:从逻辑回归到CNN》 | 书 | 前言、2.7、3.6、4.5、5.4 | 推荐数学基础、测试集评估、二阶优化、KL 散度及过拟合的进一步阅读。 |
| 《人有人的用处》 | 书 | 6.6 | 章节结尾引用维纳的警句。 |
| 《现代操作系统》 | 书 | 前言 | 作者背景中提到的操作系统书籍。 |
| 《浮士德》 | 书 | 前言 | 以人物引语说明理论与体验的关系。 |
| MapReduce | 框架 | 11章引言 | 被用作分布式计算的类比,未展开。 |
| Spark | 框架 | 11章引言 | 被用作分布式计算的类比,未展开。 |
资金安全问题案例
| 问题标题 | 问题卡 | 解决方案卡(如有) | 出现章节 | 一句话说明 |
|---|
实践卡进度
| 序号 | 实践标题 | 实践方式 | 状态 | 关联章节 | 产出 |
|---|---|---|---|---|---|
| 1 | 深读自动求导实现 | 实现深读 | done | 2、3 | 计划及首轮资料 |
| 2 | 核对分类指标实现 | 真实任务 | done | 9 | 验证计划 |
实践候选筛选:done
筛选记录:自动求导选择成熟实现深读;分类指标选择有限范围核对。分布式多机部署和完整框架重写暂不采用,前者依赖环境且与源码阅读目的重合,后者成本高于当前理解目标。以上状态表示计划交付,不表示实践已执行。
轻量模式:未执行笔记复核、独立审查及审查结果优化。
相关主题
从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。
暂无公开主题。