来源书籍

用Python实现深度学习框架

Skill 版本:v24 经典原理 119 张卡片

高信息浓度、高稳定性。抽样包括前言、模型与训练、优化方法、神经元、分布式训练和工业框架概述:书中解释计算图、梯度及模型设计动机;基础数学与机制较耐久,示例代码和具体工程技术则随版本变化。 [整书笔记](_book_note.md) · [阅读覆盖](_coverage.md) · [工作流交接](_workflow.md)

张觉非、陈震 · 人民邮电出版社 · ISBN 978-7-115-54837-5

章节与卡片

01 机器学习与模型

6 张卡片
  1. 模型与特征参数 理解等级:初级 普通读书笔记卡
  2. 训练与超参数 理解等级:中级 普通读书笔记卡
  3. 损失保留错误程度 理解等级:中级 普通读书笔记卡
  4. 计算图前向与反向 理解等级:中级 普通读书笔记卡
  5. 线性分类的分界面 理解等级:中级 普通读书笔记卡
  6. 误分类驱动参数更新 理解等级:中级 普通读书笔记卡

02 计算图

18 张卡片
  1. 计算图节点与有向边 理解等级:中级 普通读书笔记卡
  2. 按需递归前向计算 理解等级:中级 普通读书笔记卡
  3. 矩阵形状决定乘法 理解等级:中级 普通读书笔记卡
  4. 分类与回归 理解等级:中级 普通读书笔记卡
  5. 方向导数 理解等级:中级 普通读书笔记卡
  6. 梯度与方向导数 理解等级:中级 普通读书笔记卡
  7. 梯度下降与步长 理解等级:中级 普通读书笔记卡
  8. 梯度场的闭合路径 理解等级:中级 普通读书笔记卡
  9. 雅可比矩阵 理解等级:中级 普通读书笔记卡
  10. 雅可比局部线性近似 理解等级:中级 普通读书笔记卡
  11. 链式法则与反向传播 理解等级:中级 普通读书笔记卡
  12. 多路径梯度求和 理解等级:中级 普通读书笔记卡
  13. 训练一轮的缓存更新 理解等级:中级 普通读书笔记卡
  14. 变量更新使下游失效 理解等级:中级 普通读书笔记卡
  15. 节点类的协作 理解等级:中级 结构图卡
  16. 矩阵乘法的雅可比 理解等级:中级 普通读书笔记卡
  17. 训练轮次与准确率 理解等级:初级 普通读书笔记卡
  18. 训练集与测试集评估 理解等级:初级 普通读书笔记卡

03 优化器

10 张卡片
  1. 优化器封装训练步骤 理解等级:中级 结构图卡
  2. 批量随机与小批量 理解等级:中级 普通读书笔记卡
  3. 平均损失与平均梯度 理解等级:中级 普通读书笔记卡
  4. 批次维度与广播 理解等级:中级 普通读书笔记卡
  5. 学习率与朴素更新 理解等级:中级 普通读书笔记卡
  6. 狭长谷中的学习率 理解等级:中级 普通读书笔记卡
  7. 动量累积历史方向 理解等级:中级 普通读书笔记卡
  8. AdaGrad逐分量缩放 理解等级:中级 普通读书笔记卡
  9. RMSProp衰减平方历史 理解等级:中级 普通读书笔记卡
  10. Adam的一二阶动量 理解等级:中级 普通读书笔记卡

04 逻辑回归

8 张卡片
  1. 对数损失与分类边界 理解等级:中级 普通读书笔记卡
  2. Logistic函数 理解等级:中级 普通读书笔记卡
  3. 分类阈值与错误代价 理解等级:中级 普通读书笔记卡
  4. Softmax多分类 理解等级:中级 普通读书笔记卡
  5. 双类别Softmax与Logistic 理解等级:中级 普通读书笔记卡
  6. 独热标签与交叉熵 理解等级:中级 普通读书笔记卡
  7. Softmax交叉熵梯度 理解等级:中级 普通读书笔记卡
  8. 多分类模型的形状 理解等级:中级 普通读书笔记卡

05 神经网络

8 张卡片
  1. 神经元与激活函数 理解等级:中级 普通读书笔记卡
  2. Tanh与Logistic 理解等级:中级 普通读书笔记卡
  3. ReLU与负半轴斜率 理解等级:中级 普通读书笔记卡
  4. 连接神经元形成网络 理解等级:中级 普通读书笔记卡
  5. 全连接层的矩阵表示 理解等级:中级 普通读书笔记卡
  6. 隐藏层改变表示空间 理解等级:中级 普通读书笔记卡
  7. 网络宽度深度与表达 理解等级:中级 普通读书笔记卡
  8. 隐藏层作为特征提取 理解等级:中级 普通读书笔记卡

06 非全连接神经网络

9 张卡片
  1. 二次特征与非线性 理解等级:中级 普通读书笔记卡
  2. 重塑和拼接的雅可比 理解等级:中级 普通读书笔记卡
  3. 因子分解共享交互参数 理解等级:高级 普通读书笔记卡
  4. 低秩二次型的边界 理解等级:高级 普通读书笔记卡
  5. 稀疏输入的嵌入查表 理解等级:高级 普通读书笔记卡
  6. 因子分解示例的转置 理解等级:高级 普通读书笔记卡
  7. Wide与Deep组合 理解等级:中级 结构图卡
  8. DeepFM共享嵌入 理解等级:中级 结构图卡
  9. 样本唯一标识与过拟合 理解等级:中级 普通读书笔记卡

07 循环神经网络

6 张卡片
  1. 序列数据与顺序 理解等级:中级 普通读书笔记卡
  2. RNN状态递推 理解等级:中级 普通读书笔记卡
  3. RNN输出与任务 理解等级:中级 普通读书笔记卡
  4. 时间展开与共享参数 理解等级:中级 普通读书笔记卡
  5. 变长序列选择末状态 理解等级:中级 普通读书笔记卡
  6. 分类评估的标签与分母 理解等级:中级 普通读书笔记卡

08 卷积神经网络

10 张卡片
  1. 图像的空间关系 理解等级:中级 普通读书笔记卡
  2. 滤波步长与填充 理解等级:中级 普通读书笔记卡
  3. Sobel边缘检测 理解等级:中级 普通读书笔记卡
  4. 卷积与互相关的翻转 理解等级:中级 普通读书笔记卡
  5. 训练滤波器提取特征 理解等级:中级 普通读书笔记卡
  6. 卷积核与输出通道 理解等级:中级 普通读书笔记卡
  7. 池化窗口与下采样 理解等级:中级 普通读书笔记卡
  8. 最大池化的梯度定位 理解等级:中级 普通读书笔记卡
  9. 卷积网络的分层结构 理解等级:中级 普通读书笔记卡
  10. 组合结构产生新能力 理解等级:中级 普通读书笔记卡

09 训练与评估

8 张卡片
  1. 训练器封装流程 理解等级:中级 结构图卡
  2. 指标节点与状态重置 理解等级:中级 普通读书笔记卡
  3. 二分类混淆矩阵 理解等级:中级 普通读书笔记卡
  4. 正确率与类别失衡 理解等级:中级 普通读书笔记卡
  5. 查准率衡量预测正类 理解等级:中级 普通读书笔记卡
  6. 召回率与假阳率 理解等级:中级 普通读书笔记卡
  7. ROC与AUC排序 理解等级:中级 普通读书笔记卡
  8. 指标实现的编码边界 理解等级:高级 普通读书笔记卡

10 模型保存、预测和服务

6 张卡片
  1. 离线与在线推理 理解等级:中级 普通读书笔记卡
  2. 保存结构与参数 理解等级:中级 普通读书笔记卡
  3. 模型加载与前向预测 理解等级:中级 普通读书笔记卡
  4. 推理服务的输入输出契约 理解等级:中级 普通读书笔记卡
  5. gRPC与结构化消息 理解等级:中级 普通读书笔记卡
  6. 推理图的并发状态 理解等级:中级 普通读书笔记卡

11 分布式训练

14 张卡片
  1. 数据并行与模型并行 理解等级:中级 普通读书笔记卡
  2. 分布式梯度汇总 理解等级:中级 普通读书笔记卡
  3. 参数服务器与环形规约 理解等级:中级 普通读书笔记卡
  4. 同步与异步参数更新 理解等级:中级 普通读书笔记卡
  5. 分布式训练通信工具 理解等级:中级 普通读书笔记卡
  6. 梯度服务器的同步轮次 理解等级:高级 普通读书笔记卡
  7. 同步屏障与故障边界 理解等级:高级 普通读书笔记卡
  8. 分布式参数统一初始化 理解等级:高级 普通读书笔记卡
  9. 环形规约与全量收集 理解等级:中级 普通读书笔记卡
  10. 环形规约的通信量 理解等级:中级 普通读书笔记卡
  11. 环形节点的双重角色 理解等级:高级 普通读书笔记卡
  12. 环形阶段的状态协调 理解等级:高级 普通读书笔记卡
  13. 环形初始化的旧值风险 理解等级:高级 普通读书笔记卡
  14. 分布式性能比较 理解等级:中级 普通读书笔记卡

12 工业级深度学习框架

11 张卡片
  1. 张量批次与广播 理解等级:中级 普通读书笔记卡
  2. 框架前端与执行后端 理解等级:中级 普通读书笔记卡
  3. GPU并行与矩阵计算 理解等级:中级 普通读书笔记卡
  4. 训练数据输入管线 理解等级:中级 普通读书笔记卡
  5. 计算图的模型并行 理解等级:中级 普通读书笔记卡
  6. 静态图与动态图 理解等级:中级 普通读书笔记卡
  7. 混合精度的范围与舍入 理解等级:中级 普通读书笔记卡
  8. 计算图融合与编译 理解等级:中级 普通读书笔记卡
  9. 端侧推理的模型适配 理解等级:中级 普通读书笔记卡
  10. CuPy与GPU数组计算 理解等级:中级 延伸参考卡
  11. 虚拟GPU与资源抽象 理解等级:中级 延伸参考卡

00

5 张卡片
  1. 模型实现的验证 理解等级:中级 普通读书笔记卡
  2. 实现促进理解 理解等级:中级 普通读书笔记卡
  3. 模型自由度与调参 理解等级:中级 普通读书笔记卡
  4. 理解公式与实现 理解等级:中级 普通读书笔记卡
  5. Minix与教学式实现 理解等级:初级 延伸参考卡

全书概览

《用Python实现深度学习框架》概览

Skill 版本:book-notes v24

执行模式:light

建档进度:done

四象限评级:经典原理

理由:高信息浓度、高稳定性。抽样包括前言、模型与训练、优化方法、神经元、分布式训练和工业框架概述:书中解释计算图、梯度及模型设计动机;基础数学与机制较耐久,示例代码和具体工程技术则随版本变化。

整书笔记 · 阅读覆盖 · 工作流交接

章节进度追踪表

章节号 章节标题 状态 卡片数
01 机器学习与模型 done 6
02 计算图 done 18
03 优化器 done 10
04 逻辑回归 done 8
05 神经网络 done 8
06 非全连接神经网络 done 9
07 循环神经网络 done 6
08 卷积神经网络 done 10
09 训练与评估 done 8
10 模型保存、预测和服务 done 6
11 分布式训练 done 14
12 工业级深度学习框架 done 11
S003 前言 done 5
S004 内容概览 done 0
S005 读者对象 done 0
S009 第 1 章 机器学习与模型 done 0
S010 1.1 模型 done 1
S011 1.2 参数与训练 done 3
S012 1.3 损失函数 done 1
S013 1.4 计算图的训练 done 1
S014 1.5 小结 done 0
S015 第 2 章 计算图 done 1
S016 2.1 什么是计算图 done 1
S017 2.2 前向传播 done 2
S018 2.3 函数优化与梯度下降法 done 4
S019 2.4 链式法则与反向传播 done 4
S020 2.5 在计算图上执行梯度下降法 done 1
S021 2.6 节点类及其子类 done 3
S022 2.7 用计算图搭建ADALINE并训练 done 2
S023 2.8 小结 done 0
S024 第 3 章 优化器 done 0
S025 3.1 优化流程的抽象实现 done 1
S026 3.2 BGD、SGD和MBGD done 3
S027 3.3 梯度下降优化器 done 1
S028 3.4 朴素梯度下降法的局限 done 1
S029 3.5 冲量优化器 done 1
S030 3.6 AdaGrad优化器 done 1
S031 3.7 RMSProp优化器 done 1
S032 3.8 Adam优化器 done 1
S033 3.9 小结 done 0
S035 第 4 章 逻辑回归 done 0
S036 4.1 对数损失函数 done 1
S037 4.2 Logistic函数 done 1
S038 4.3 二分类逻辑回归 done 1
S039 4.4 多分类逻辑回归 done 2
S040 4.5 交叉熵 done 2
S041 4.6 实例:鸢尾花 done 1
S042 4.7 小结 done 0
S043 第 5 章 神经网络 done 0
S044 5.1 神经元与激活函数 done 3
S045 5.2 神经网络 done 1
S046 5.3 多层全连接神经网络 done 1
S047 5.4 多个全连接层的意义 done 2
S048 5.5 实例:鸢尾花 done 0
S049 5.6 实例:手写数字识别 done 0
S050 5.7 小结 done 1
S051 第 6 章 非全连接神经网络 done 0
S052 6.1 带二次项的逻辑回归 done 2
S053 6.2 因子分解机 done 4
S054 6.3 Wide & Deep done 1
S055 6.4 DeepFM done 1
S056 6.5 实例:泰坦尼克号幸存者 done 1
S057 6.6 小结 done 0
S058 第 7 章 循环神经网络 done 1
S059 7.1 RNN的结构 done 1
S060 7.2 RNN的输出 done 1
S061 7.3 实例:正弦波与方波 done 1
S062 7.4 变长序列 done 1
S063 7.5 实例:3D电磁发音仪单词识别 done 1
S064 7.6 小结 done 0
S065 第 8 章 卷积神经网络 done 1
S066 8.1 蒙德里安与莫奈 done 0
S067 8.2 滤波器 done 3
S068 8.3 可训练的滤波器 done 1
S069 8.4 卷积层 done 1
S070 8.5 池化层 done 2
S071 8.6 CNN的结构 done 1
S072 8.7 实例:手写数字识别 done 0
S073 8.8 小结 done 1
S075 第 9 章 训练与评估 done 0
S076 9.1 训练和Trainer训练器 done 1
S077 9.2 评估和Metrics节点 done 1
S078 9.3 混淆矩阵 done 1
S079 9.4 正确率 done 1
S080 9.5 查准率 done 1
S081 9.6 查全率 done 1
S082 9.7 ROC曲线和AUC done 2
S083 9.8 小结 done 0
S084 第 10 章 模型保存、预测和服务 done 1
S085 10.1 模型保存 done 1
S086 10.2 模型加载和预测 done 1
S087 10.3 模型服务 done 3
S088 10.4 客户端 done 0
S089 10.5 小结 done 0
S090 第 11 章 分布式训练 done 0
S091 11.1 分布式训练的原理 done 5
S092 11.2 基于参数服务器的架构 done 3
S093 11.3 Ring AllReduce原理 done 2
S094 11.4 Ring AllReduce架构实现 done 3
S095 11.5 分布式训练性能评测 done 1
S096 11.6 小结 done 0
S097 第 12 章 工业级深度学习框架 done 0
S098 12.1 张量 done 1
S099 12.2 计算加速 done 1
S100 12.3 GPU done 2
S101 12.4 数据接口 done 1
S102 12.5 模型并行 done 2
S103 12.6 静态图和动态图 done 1
S104 12.7 混合精度训练 done 1
S105 12.8 图优化和编译优化 done 1
S106 12.9 移动端和嵌入式端 done 1
S107 12.10 小结 done 0

非正文排除

spine项 类型 排除理由
S000 封面图 封面图,不含本书实质正文
S001 版权信息 版权信息,不含本书实质正文
S002 纯目录 纯目录,不含本书实质正文
S006 代码资源及联系信息 代码资源及联系信息,不含本书实质正文
S007 致谢 致谢,不含本书实质正文
S008 第一部分标题页 第一部分标题页,不含本书实质正文
S034 第二部分标题页 第二部分标题页,不含本书实质正文
S074 第三部分标题页 第三部分标题页,不含本书实质正文
S108 作者简介 作者简介,不含本书实质正文
S109 电子书售后信息 电子书售后信息,不含本书实质正文

待关联术语

术语名 出现章节 一句话语境
LSTM 7.2 作为更复杂的循环网络结构被提及,未展开。
Photoshop 8.1 示例使用软件中的查找边缘操作。
VGG16 8.6 作为典型 CNN 层次结构图示,未展开其完整设计。
Socket 11.1 列作进程间通信技术,未展开。
RDMA 11.1 列作进程间通信技术,未展开。
Tree AllReduce 11.3 被提及为树状规约架构,未展开。
AlexNet 11.5、12.3 作为实验模型及历史竞赛模型提及,未展开结构。
词袋编码 12.4 作为文本特征处理示例提及,未展开。
Dropout 前言 提及为训练中引入随机性的正则化方法,未展开。
网格搜索 前言 作为超参数搜索方法提及,未展开。
随机搜索 前言 作为超参数搜索方法提及,未展开。
贝叶斯优化 前言 作为非参数优化方法提及,未展开。
遗传算法 前言 作为优化方法提及,未展开。

引用文献

标题 类型 出现章节 一句话语境
《深入理解神经网络:从逻辑回归到CNN》 书 前言、2.7、3.6、4.5、5.4 推荐数学基础、测试集评估、二阶优化、KL 散度及过拟合的进一步阅读。
《人有人的用处》 书 6.6 章节结尾引用维纳的警句。
《现代操作系统》 书 前言 作者背景中提到的操作系统书籍。
《浮士德》 书 前言 以人物引语说明理论与体验的关系。
MapReduce 框架 11章引言 被用作分布式计算的类比,未展开。
Spark 框架 11章引言 被用作分布式计算的类比,未展开。

资金安全问题案例

问题标题 问题卡 解决方案卡(如有) 出现章节 一句话说明

实践卡进度

序号 实践标题 实践方式 状态 关联章节 产出
1 深读自动求导实现 实现深读 done 2、3 计划及首轮资料
2 核对分类指标实现 真实任务 done 9 验证计划

实践候选筛选:done

筛选记录:自动求导选择成熟实现深读;分类指标选择有限范围核对。分布式多机部署和完整框架重写暂不采用,前者依赖环境且与源码阅读目的重合,后者成本高于当前理解目标。以上状态表示计划交付,不表示实践已执行。

轻量模式:未执行笔记复核、独立审查及审查结果优化。

相关主题

从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。

暂无公开主题。