来源书籍
深度学习之美:AI时代的数据处理与最佳实践
章节与卡片
06 推荐序一 通俗也是一种美德
3 张卡片
- 神经元加权汇集与激活 理解等级:中级 普通读书笔记卡
- 阶跃与平滑激活的训练差异 理解等级:中级 普通读书笔记卡
- 阈值神经元实现逻辑门 理解等级:中级 普通读书笔记卡
07 推荐序二 技术,也可以“美”到极致
4 张卡片
- 感知机用误差修正权重 理解等级:中级 普通读书笔记卡
- 感知机用超平面分类 理解等级:中级 普通读书笔记卡
- 赫布学习关联共同活动 理解等级:中级 普通读书笔记卡
- 感知机收敛需要线性可分 理解等级:中级 普通读书笔记卡
08 自序 深度学习的浅度梦想
6 张卡片
- 隐层组合解决异或 理解等级:中级 普通读书笔记卡
- 概念由分布式特征表示 理解等级:中级 普通读书笔记卡
- Dropout训练时随机屏蔽 理解等级:中级 普通读书笔记卡
- 集成效果依赖准确与差异 理解等级:中级 普通读书笔记卡
- 损失函数定义误差代价 理解等级:中级 普通读书笔记卡
- 深层链式求导可能削弱梯度 理解等级:中级 普通读书笔记卡
09 第1章 一入侯门“深”似海,深度学习深几许
5 张卡片
- 梯度给出局部变化方向 理解等级:中级 普通读书笔记卡
- 梯度下降依赖方向与步长 理解等级:中级 普通读书笔记卡
- 批量与随机梯度的取舍 理解等级:中级 普通读书笔记卡
- 平方误差的线性模型更新 理解等级:中级 普通读书笔记卡
- 模拟退火允许有条件的逆向移动 理解等级:中级 普通读书笔记卡
10 章首导语
4 张卡片
- 链式法则汇合路径贡献 理解等级:中级 普通读书笔记卡
- 反向微分复用中间梯度 理解等级:中级 普通读书笔记卡
- 输出误差传回隐层 理解等级:高级 普通读书笔记卡
- 交叉验证每折重建训练流程 理解等级:高级 普通读书笔记卡
11 1.1 深度学习的巨大影响
11 张卡片
- 隔离环境安装与核验 理解等级:中级 操作参考卡
- 源码编译需要环境匹配 理解等级:中级 操作参考卡
- Notebook结合代码与说明 理解等级:初级 操作参考卡
- 数据流图与会话执行 理解等级:初级 操作参考卡
- 占位输入与可更新变量 理解等级:初级 操作参考卡
- 张量形状与按轴归约 理解等级:初级 操作参考卡
- 用TensorBoard检查计算图 理解等级:初级 操作参考卡
- Softmax把分类分数转成分布 理解等级:初级 普通读书笔记卡
- 交叉熵评估预测分布 理解等级:初级 普通读书笔记卡
- MNIST分类模型的端到端步骤 理解等级:初级 普通读书笔记卡
- 即时执行便于逐步调试 理解等级:初级 普通读书笔记卡
12 1.2 什么是学习
7 张卡片
- 卷积按位移加权叠加 理解等级:中级 普通读书笔记卡
- 局部连接与参数共享 理解等级:中级 普通读书笔记卡
- 步幅填充决定输出大小 理解等级:中级 普通读书笔记卡
- 非线性激活扩展表达 理解等级:中级 普通读书笔记卡
- ReLU正区与失活风险 理解等级:中级 普通读书笔记卡
- 池化汇总局部区域 理解等级:中级 普通读书笔记卡
- 欠拟合与过拟合看训练和泛化 理解等级:中级 普通读书笔记卡
13 1.3 什么是机器学习
7 张卡片
- 卷积输入输出的维度 理解等级:中级 普通读书笔记卡
- 批规范化依赖批统计与可学习变换 理解等级:中级 普通读书笔记卡
- 卷积分类器逐层核对形状 理解等级:初级 普通读书笔记卡
- Adam按梯度矩调整更新 理解等级:初级 普通读书笔记卡
- 数据增强利用保持标签的变化 理解等级:初级 普通读书笔记卡
- 局部响应规范化比较邻近通道 理解等级:中级 普通读书笔记卡
- 用固定卷积核观察图像滤波 理解等级:中级 操作参考卡
14 1.4 机器学习的4个象限
6 张卡片
- 循环状态汇集历史与当前输入 理解等级:中级 普通读书笔记卡
- 序列任务的输入输出对齐 理解等级:中级 普通读书笔记卡
- 时间展开反传共享参数 理解等级:高级 普通读书笔记卡
- 马尔可夫性依赖状态定义 理解等级:中级 普通读书笔记卡
- 联想记忆从扰动状态恢复模式 理解等级:中级 普通读书笔记卡
- 序列批次按连续性管理状态 理解等级:中级 普通读书笔记卡
15 1.5 什么是深度学习
10 张卡片
- LSTM门控更新记忆 理解等级:中级 普通读书笔记卡
- GRU合并状态与门控 理解等级:中级 普通读书笔记卡
- 上下文分布提供词义线索 理解等级:中级 普通读书笔记卡
- 词嵌入将词索引映射为向量 理解等级:中级 普通读书笔记卡
- Ngram使用有限上下文 理解等级:中级 普通读书笔记卡
- 循环网络正则化需考虑状态路径 理解等级:高级 普通读书笔记卡
- 下一个词预测的输入标签错位 理解等级:中级 普通读书笔记卡
- 梯度裁剪限制更新尺度 理解等级:中级 普通读书笔记卡
- 困惑度是平均预测损失的指数 理解等级:中级 普通读书笔记卡
- 对照不同观点建立领域地图 理解等级:初级 普通读书笔记卡
16 1.6 “恋爱”中的深度学习
5 张卡片
- 不变与同变保留不同信息 理解等级:中级 普通读书笔记卡
- 胶囊向量长度与方向 理解等级:中级 普通读书笔记卡
- 动态路由聚合一致预测 理解等级:中级 普通读书笔记卡
- 胶囊边缘损失区分真假类 理解等级:中级 普通读书笔记卡
- 重构检验表征保留的信息 理解等级:高级 普通读书笔记卡
01 一入侯门“深”似海,深度学习深几许
5 张卡片
- 任务指标经验定义学习 理解等级:初级 普通读书笔记卡
- 深层网络逐层学习表示 理解等级:中级 普通读书笔记卡
- 端到端联合学习映射 理解等级:中级 普通读书笔记卡
- 深度服务于表示学习 理解等级:高级 普通读书笔记卡
- 人工特征依赖领域先验 理解等级:中级 普通读书笔记卡
02 人工“碳”索意犹尽,智能“硅”来未可知
5 张卡片
- 监督方式与模型结构分开 理解等级:初级 普通读书笔记卡
- 学习由建模评估优化组成 理解等级:中级 普通读书笔记卡
- 规则推理与连接权重 理解等级:中级 普通读书笔记卡
- 可近似性不保证泛化 理解等级:高级 普通读书笔记卡
- 神经网络优化可能面对非凸目标 理解等级:中级 普通读书笔记卡
03 “机器学习”三重门,“中庸之道”趋若人
8 张卡片
- 教师信号约束预测 理解等级:中级 普通读书笔记卡
- 近邻投票依赖距离 理解等级:中级 普通读书笔记卡
- 相似性定义改变聚类 理解等级:中级 普通读书笔记卡
- K均值交替分配与更新 理解等级:中级 普通读书笔记卡
- 半监督依赖聚类假设 理解等级:高级 普通读书笔记卡
- 强化学习优化长期回报 理解等级:中级 普通读书笔记卡
- 自我对弈仍产生训练数据 理解等级:高级 普通读书笔记卡
- 探索与利用需要权衡 理解等级:初级 普通读书笔记卡
04 人生苦短对酒歌,我用Python乐趣多
9 张卡片
- 科学计算库按职责分工 理解等级:中级 普通读书笔记卡
- 命令路径决定解释器 理解等级:中级 普通读书笔记卡
- 对象可变性影响函数调用 理解等级:中级 普通读书笔记卡
- 位置与关键字参数收集 理解等级:中级 普通读书笔记卡
- 文本与字节通过编码转换 理解等级:初级 普通读书笔记卡
- Python代码块与执行方式 理解等级:初级 操作参考卡
- Python容器按访问和可变性选择 理解等级:初级 操作参考卡
- Python模块导入与名称绑定 理解等级:初级 操作参考卡
- 类和实例的属性与方法 理解等级:初级 操作参考卡
05 机器学习终觉浅,Python带我来实践
8 张卡片
- 最小二乘拟合直线 理解等级:中级 普通读书笔记卡
- 训练误差只衡量拟合 理解等级:中级 普通读书笔记卡
- 验证选择近邻数量 理解等级:中级 普通读书笔记卡
- 缩放改变近邻次序 理解等级:中级 普通读书笔记卡
- 读取CSV后转换特征类型 理解等级:初级 操作参考卡
- 绘制散点图检查样本关系 理解等级:初级 操作参考卡
- 距离定义决定近邻 理解等级:初级 普通读书笔记卡
- 近邻分类的拟合预测与评估 理解等级:初级 普通读书笔记卡
全书概览
《深度学习之美:AI时代的数据处理与最佳实践》概览
Skill 版本:v24
执行模式:light
建档进度:done
正式评级:信息浓度高、稳定性高,经典原理;总表当前优先级 P4。第 6–10 章解释神经元、梯度和反向传播,第 12–16 章解释卷积、循环、门控与路由机制及边界;这些原理可迁移。第 4、11、13 章的安装截图及 TensorFlow 1.x API 有时效性,不作为当前操作说明。
主内容形态:概念解析型;书中穿插 Python 和历史框架操作示例。
整书笔记
章节进度追踪表
| 章节号 | 章节标题 | 状态(pending/done) | 卡片数 |
|---|---|---|---|
| 006 | 推荐序一 通俗也是一种美德 | done | 0 |
| 007 | 推荐序二 技术,也可以“美”到极致 | done | 0 |
| 008 | 自序 深度学习的浅度梦想 | done | 0 |
| 009 | 第1章 一入侯门“深”似海,深度学习深几许 | done | 0 |
| 010 | 章首导语 | done | 0 |
| 011 | 1.1 深度学习的巨大影响 | done | 0 |
| 012 | 1.2 什么是学习 | done | 0 |
| 013 | 1.3 什么是机器学习 | done | 1 |
| 014 | 1.4 机器学习的4个象限 | done | 1 |
| 015 | 1.5 什么是深度学习 | done | 1 |
| 016 | 1.6 “恋爱”中的深度学习 | done | 0 |
| 017 | 1.7 深度学习的方法论 | done | 1 |
| 018 | 1.8 有没有浅层学习 | done | 1 |
| 019 | 1.9 本章小结 | done | 0 |
| 020 | 1.10 请你思考 | done | 0 |
| 021 | 参考资料 | done | 0 |
| 022 | 第2章 人工“碳”索意犹尽,智能“硅”来未可知 | done | 0 |
| 023 | 章首导语 | done | 0 |
| 024 | 2.1 信数据者得永生吗 | done | 0 |
| 025 | 2.2 人工智能的“江湖定位” | done | 0 |
| 026 | 2.3 深度学习的归属 | done | 1 |
| 027 | 2.4 机器学习的形式化定义 | done | 1 |
| 028 | 2.5 为什么要用神经网络 | done | 1 |
| 029 | 2.6 人工神经网络的特点 | done | 1 |
| 030 | 2.7 什么是通用近似定理 | done | 1 |
| 031 | 2.8 本章小结 | done | 0 |
| 032 | 2.9 请你思考 | done | 0 |
| 033 | 参考资料 | done | 0 |
| 034 | 第3章 “机器学习”三重门,“中庸之道”趋若人 | done | 0 |
| 035 | 章首导语 | done | 0 |
| 036 | 3.1 监督学习 3.1.1 感性认知监督学习 3.1.2 监督学习的形式化描述 3.1.3 k-近邻算法 | done | 2 |
| 037 | 3.2 非监督学习 3.2.1 感性认识非监督学习 3.2.2 非监督学习的代表—K均值聚类 | done | 2 |
| 038 | 3.3 半监督学习 | done | 1 |
| 039 | 3.4 从“中庸之道”看机器学习 | done | 0 |
| 040 | 3.5 强化学习 | done | 2 |
| 041 | 3.6 本章小结 | done | 1 |
| 042 | 3.7 请你思考 | done | 0 |
| 043 | 参考资料 | done | 0 |
| 044 | 第4章 人生苦短对酒歌,我用Python乐趣多 | done | 0 |
| 045 | 章首导语 | done | 0 |
| 046 | 4.1 Python概要 4.1.1 为什么要用Python 4.1.2 Python中常用的库 | done | 1 |
| 047 | 4.2 Python的版本之争 | done | 1 |
| 048 | 4.3 Python环境配置 4.3.1 Windows下的安装与配置 4.3.2 Mac下的安装与配置 | done | 1 |
| 049 | 4.4 Python编程基础 4.4.1 如何运行Python代码 4.4.2 代码缩进 4.4.3 注释 4.4.4 Python中的数据结构 4.4.5 函数的设计 4.4.6 模块的导入与使用 4.4.7 面向对象程序设计 | done | 6 |
| 050 | 4.5 本章小结 | done | 0 |
| 051 | 4.6 请你思考 | done | 0 |
| 052 | 参考资料 | done | 0 |
| 053 | 第5章 机器学习终觉浅,Python带我来实践 | done | 0 |
| 054 | 章首导语 | done | 0 |
| 055 | 5.1 线性回归 5.1.1 线性回归的概念 5.1.2 简易线性回归的Python实现详解 | done | 4 |
| 056 | 5.2 k-近邻算法 5.2.1 k-近邻算法的三个要素 5.2.2 k-近邻算法实战 5.2.3 使用scikit-learn实现k-近邻算法 | done | 4 |
| 057 | 5.3 本章小结 | done | 0 |
| 058 | 5.4 请你思考 | done | 0 |
| 059 | 参考资料 | done | 0 |
| 060 | 第6章 神经网络不胜语,M-P模型似可寻 | done | 0 |
| 061 | 章首导语 | done | 0 |
| 062 | 6.1 M-P神经元模型是什么 | done | 1 |
| 063 | 6.2 模型背后的那些人和事 | done | 1 |
| 064 | 6.3 激活函数是怎样的一种存在 | done | 1 |
| 065 | 6.4 什么是卷积函数 | done | 0 |
| 066 | 6.5 本章小结 | done | 0 |
| 067 | 6.6 请你思考 | done | 0 |
| 068 | 参考资料 | done | 0 |
| 069 | 第7章 Hello World感知机,懂你我心才安息 | done | 0 |
| 070 | 章首导语 | done | 0 |
| 071 | 7.1 网之初,感知机 | done | 0 |
| 072 | 7.2 感知机名称的由来 | done | 1 |
| 073 | 7.3 感性认识“感知机” | done | 0 |
| 074 | 7.4 感知机是如何学习的 | done | 0 |
| 075 | 7.5 感知机训练法则 | done | 1 |
| 076 | 7.6 感知机的几何意义 | done | 1 |
| 077 | 7.7 基于Python的感知机实战 | done | 0 |
| 078 | 7.8 感知机的表征能力 | done | 1 |
| 079 | 7.9 本章小结 | done | 0 |
| 080 | 7.10 请你思考 | done | 0 |
| 081 | 参考资料 | done | 0 |
| 082 | 第8章 损失函数减肥用,神经网络调权重 | done | 0 |
| 083 | 章首导语 | done | 0 |
| 084 | 8.1 多层网络解决“异或”问题 | done | 1 |
| 085 | 8.2 感性认识多层前馈神经网络 | done | 0 |
| 086 | 8.3 是浅而“胖”好,还是深而“瘦”佳 | done | 0 |
| 087 | 8.4 分布式特征表达 | done | 1 |
| 088 | 8.5 丢弃学习与集成学习 | done | 2 |
| 089 | 8.6 现实很丰满,理想很骨感 | done | 0 |
| 090 | 8.7 损失函数的定义 | done | 1 |
| 091 | 8.8 热力学定律与梯度弥散 | done | 1 |
| 092 | 8.9 本章小结 | done | 0 |
| 093 | 8.10 请你思考 | done | 0 |
| 094 | 参考资料 | done | 0 |
| 095 | 第9章 山重水复疑无路,最快下降问梯度 | done | 0 |
| 096 | 章首导语 | done | 0 |
| 097 | 9.1 “鸟飞派”还飞不 | done | 0 |
| 098 | 9.2 1986年的那篇神作 | done | 0 |
| 099 | 9.3 多层感知机网络遇到的大问题 | done | 0 |
| 100 | 9.4 神经网络结构的设计 | done | 0 |
| 101 | 9.5 再议损失函数 | done | 0 |
| 102 | 9.6 什么是梯度 | done | 1 |
| 103 | 9.7 什么是梯度递减 | done | 2 |
| 104 | 9.8 梯度递减的线性回归实战 | done | 0 |
| 105 | 9.9 什么是随机梯度递减 | done | 2 |
| 106 | 9.10 利用SGD解决线性回归实战 | done | 0 |
| 107 | 9.11 本章小结 | done | 0 |
| 108 | 9.12 请你思考 | done | 0 |
| 109 | 参考资料 | done | 0 |
| 110 | 第10章 BP算法双向传,链式求导最缠绵 | done | 0 |
| 111 | 章首导语 | done | 0 |
| 112 | 10.1 BP算法极简史 | done | 0 |
| 113 | 10.2 正向传播信息 | done | 0 |
| 114 | 10.3 求导中的链式法则 | done | 2 |
| 115 | 10.4 误差反向传播 10.4.1 基于随机梯度下降的BP算法 10.4.2 输出层神经元的权值训练 10.4.3 隐含层神经元的权值训练 10.4.4 BP算法的感性认知 10.4.5 关于BP算法的补充说明 | done | 1 |
| 116 | 10.5 BP算法实战详细解释 10.5.1 初始化网络 10.5.2 信息前向传播 10.5.3 误差反向传播 10.5.4 训练网络(解决异或问题) 10.5.5 利用BP算法预测小麦品种的分类 | done | 1 |
| 117 | 10.6 本章小结 | done | 0 |
| 118 | 10.7 请你思考 | done | 0 |
| 119 | 参考资料 | done | 0 |
| 120 | 第11章 一骑红尘江湖笑,TensorFlow谷歌造 | done | 0 |
| 121 | 章首导语 | done | 0 |
| 122 | 11.1 TensorFlow概述 | done | 0 |
| 123 | 11.2 深度学习框架比较 11.2.1 Theano 11.2.2 Keras 11.2.3 Caffe 11.2.4 PyTorch | done | 0 |
| 124 | 11.3 TensorFlow的安装 11.3.1 Anaconda的安装 11.3.2 TensorFlow的CPU版本安装 11.3.3 TensorFlow的源码编译 | done | 2 |
| 125 | 11.4 Jupyter Notebook的使用 11.4.1 Jupyter Notebook的由来 11.4.2 Jupyter Notebook的安装 | done | 1 |
| 126 | 11.5 TensorFlow中的基础语法 11.5.1 什么是数据流图 11.5.2 构建第一个TensorFlow数据流图 11.5.3 可视化展现的TensorBoard 11.5.4 TensorFlow的张量思维 11.5.5 TensorFlow中的数据类型 11.5.6 TensorFlow中的操作类型 11.5.7 TensorFlow中的Graph对象 11.5.8 TensorFlow中的Session 11.5.9 TensorFlow中的placeholder 11.5.10 TensorFlow中的Variable对象 11.5.11 TensorFlow中的名称作用域 11.5.12 张量的Reduce方向 | done | 4 |
| 127 | 11.6 手写数字识别MNIST 11.6.1 MNIST数据集简介 11.6.2 MNIST数据的获取与预处理 11.6.3 分类模型的构建—Softmax Regression | done | 3 |
| 128 | 11.7 TensorFlow中的Eager执行模式 11.7.1 Eager执行模式的背景 11.7.2 Eager执行模式的安装 11.7.3 Eager执行模式的案例 11.7.4 Eager执行模式的MNIST模型构建 | done | 1 |
| 129 | 11.8 本章小结 | done | 0 |
| 130 | 11.9 请你思考 | done | 0 |
| 131 | 参考资料 | done | 0 |
| 132 | 第12章 全面连接困何处,卷积网络显神威 | done | 0 |
| 133 | 章首导语 | done | 0 |
| 134 | 12.1 卷积神经网络的历史 12.1.1 眼在何方?路在何方? 12.1.2 卷积神经网络的历史脉络 12.1.3 那场著名的学术赌局 | done | 0 |
| 135 | 12.2 卷积神经网络的概念 12.2.1 卷积的数学定义 12.2.2 生活中的卷积 | done | 1 |
| 136 | 12.3 图像处理中的卷积 12.3.1 计算机“视界”中的图像 12.3.2 什么是卷积核 12.3.3 卷积在图像处理中的应用 | done | 0 |
| 137 | 12.4 卷积神经网络的结构 | done | 0 |
| 138 | 12.5 卷积层要义 12.5.1 卷积层的设计动机 12.5.2 卷积层的局部连接 12.5.3 卷积层的3个核心概念 | done | 2 |
| 139 | 12.6 细说激活层 12.6.1 两个看似闲扯的问题 12.6.2 追寻问题的本质 12.6.3 ReLU的理论基础 12.6.4 ReLU的不足之处 | done | 3 |
| 140 | 12.7 详解池化层 | done | 1 |
| 141 | 12.8 勿忘全连接层 | done | 0 |
| 142 | 12.9 本章小结 | done | 0 |
| 143 | 12.10 请你思考 | done | 0 |
| 144 | 参考资料 | done | 0 |
| 145 | 第13章 纸上谈兵终觉浅,绝知卷积要编程 | done | 0 |
| 146 | 章首导语 | done | 0 |
| 147 | 13.1 TensorFlow的CNN架构 | done | 0 |
| 148 | 13.2 卷积层的实现 13.2.1 TensorFlow中的卷积函数 13.2.2 图像处理中的常用卷积核 | done | 2 |
| 149 | 13.3 激活函数的使用 13.3.1 Sigmoid函数 13.3.2 Tanh函数 13.3.3 修正线性单元——ReLU 13.3.4 Dropout函数 | done | 0 |
| 150 | 13.4 池化层的实现 | done | 0 |
| 151 | 13.5 规范化层 13.5.1 为什么需要规范化 13.5.2 局部响应规范化 13.5.3 批规范化 | done | 2 |
| 152 | 13.6 卷积神经网络在MNIST分类器中的应用 13.6.1 数据读取 13.6.2 初始化权值和偏置 13.6.3 卷积和池化 13.6.4 构建第一个卷积层 13.6.5 构建第二个卷积层 13.6.6 实现全连接层 13.6.7 实现Dropout层 13.6.8 实现Readout层 13.6.9 参数训练与模型评估 | done | 2 |
| 153 | 13.7 经典神经网络——AlexNet的实现 13.7.1 AlexNet的网络架构 13.7.2 数据读取 13.7.3 初始化权值和偏置 13.7.4 卷积和池化 13.7.5 局部响应归一化层 13.7.6 构建卷积层 13.7.7 实现全连接层和Dropout层 13.7.8 实现Readout层 13.7.9 参数训练与模型评估 | done | 1 |
| 154 | 13.8 本章小结 | done | 0 |
| 155 | 13.9 请你思考 | done | 0 |
| 156 | 参考资料 | done | 0 |
| 157 | 第14章 循环递归RNN,序列建模套路深 | done | 0 |
| 158 | 章首导语 | done | 0 |
| 159 | 14.1 你可能不具备的一种思维 | done | 1 |
| 160 | 14.2 标准神经网络的缺陷所在 | done | 0 |
| 161 | 14.3 RNN简史 14.3.1 Hopfield网络 14.3.2 Jordan递归神经网络 14.3.3 Elman递归神经网络 14.3.4 RNN的应用领域 | done | 1 |
| 162 | 14.4 RNN的理论基础 14.4.1 Elman递归神经网络 14.4.2 循环神经网络的生物学机理 | done | 1 |
| 163 | 14.5 RNN的结构 | done | 1 |
| 164 | 14.6 循环神经网络的训练 14.6.1 问题建模 14.6.2 确定优化目标函数 14.6.3 参数求解 | done | 1 |
| 165 | 14.7 基于RNN的TensorFlow实战——正弦序列预测 14.7.1 生成数据 14.7.2 定义权值和偏置 14.7.3 前向传播 14.7.4 定义损失函数 14.7.5 参数训练与模型评估 | done | 1 |
| 166 | 14.8 本章小结 | done | 0 |
| 167 | 14.9 请你思考 | done | 0 |
| 168 | 参考资料 | done | 0 |
| 169 | 第15章 LSTM长短记,长序依赖可追忆 | done | 0 |
| 170 | 章首导语 | done | 0 |
| 171 | 15.1 遗忘是好事还是坏事 | done | 0 |
| 172 | 15.2 施密德胡伯是何人 | done | 1 |
| 173 | 15.3 为什么需要LSTM | done | 0 |
| 174 | 15.4 拆解LSTM 15.4.1 传统RNN的问题所在 15.4.2 改造的神经元 | done | 0 |
| 175 | 15.5 LSTM的前向计算 15.5.1 遗忘门 15.5.2 输入门 15.5.3 候选门 15.5.4 输出门 | done | 2 |
| 176 | 15.6 LSTM的训练流程 | done | 0 |
| 177 | 15.7 自然语言处理的一个假设 | done | 1 |
| 178 | 15.8 词向量表示方法 15.8.1 独热编码表示 15.8.2 分布式表示 15.8.3 词嵌入表示 | done | 1 |
| 179 | 15.9 自然语言处理的统计模型 15.9.1 NGram模型 15.9.2 基于神经网络的语言模型 15.9.3 基于循环神经网络的语言模型 15.9.4 LSTM语言模型的正则化 | done | 2 |
| 180 | 15.10 基于Penn Tree Bank的自然语言处理实战 15.10.1 下载及准备PTB数据集 15.10.2 导入基本包 15.10.3 定义相关的参数 15.10.4 语言模型的实现 15.10.5 训练并返回perplexity值 15.10.6 定义主函数并运行 15.10.7 运行结果 | done | 3 |
| 181 | 15.11 本章小结 | done | 0 |
| 182 | 15.12 请你思考 | done | 0 |
| 183 | 参考资料 | done | 0 |
| 184 | 第16章 卷积网络虽动人,胶囊网络更传“神” | done | 0 |
| 185 | 章首导语 | done | 0 |
| 186 | 16.1 从神经元到神经胶囊 | done | 0 |
| 187 | 16.2 卷积神经网络面临的挑战 | done | 0 |
| 188 | 16.3 神经胶囊的提出 | done | 1 |
| 189 | 16.4 神经胶囊理论初探 16.4.1 神经胶囊的生物学基础 16.4.2 神经胶囊网络的哲学基础 | done | 0 |
| 190 | 16.5 神经胶囊的实例化参数 | done | 0 |
| 191 | 16.6 神经胶囊的工作流程 16.6.1 神经胶囊向量的计算 16.6.2 动态路由的工作机理 16.6.3 判断多数字存在性的边缘损失函数 16.6.4 胶囊神经网络的结构 | done | 3 |
| 192 | 16.7 CapsNet的验证与实验 16.7.1 重构和预测效果 16.7.2 胶囊输出向量的维度表征意义 16.7.3 重叠图像的分割 | done | 1 |
| 193 | 16.8 神经胶囊网络的TensorFlow实现 16.8.1 导入基本包及读取数据集 16.8.2 图像输入 16.8.3 卷积层Conv1的实现 16.8.4 PrimaryCaps层的实现 16.8.5 全连接层 16.8.6 路由协议算法 16.8.7 估计实体出现的概率 16.8.8 损失函数的实现 16.8.9 额外设置 16.8.10 训练和评估 16.8.11 运行结果 | done | 0 |
| 194 | 16.9 本章小结 | done | 0 |
| 195 | 16.10 请你思考 | done | 0 |
| 196 | 16.11 深度学习美在何处 | done | 0 |
| 197 | 参考资料 | done | 0 |
| 198 | 后记 | done | 0 |
非正文排除
| spine项 | 类型 | 排除理由 |
|---|---|---|
| 001 titlepage.xhtml | 书名页 | Calibre 生成的封面入口 |
| 002 OEBPS/Text/coverpage.xhtml | 封面 | 仅封面图 |
| 003 OEBPS/Text/copyright.xhtml | 版权 | 书籍身份与版权声明 |
| 004 OEBPS/Text/chapter1.xhtml | 扉页 | 仅图像式扉页 |
| 005 OEBPS/Text/chapter2.xhtml | 内容简介 | 出版社对章节安排的摘要 |
| 199 OEBPS/Text/chapter23.xhtml | 索引 | 术语及页码检索 |
待关联术语
| 术语名 | 出现章节 | 一句话语境 |
|---|---|---|
| SVM | 013、018、117 | 浅层模型例子;第 10 章简述其核方法和历史应用。 |
| Boosting | 018 | 本节将其列为浅层学习示例。 |
| 逻辑回归 | 018 | 本节举例说明可无隐层。 |
| VGGNet | 017、155 | 表 1-1 的任务规模对照;第 13 章提议继续学习。 |
| DeepVideo、GNMT | 017 | 表 1-1 的视频与翻译任务规模对照。 |
| EM 路由 | 195 | 章末仅提及用期望最大化改进胶囊路由,未展开算法。 |
| LeNet | 155 | 本章建议进一步学习的经典卷积架构。 |
| ResNet | 018、155 | ImageNet 竞赛层数的历史例子及后续学习方向。 |
引用文献
| 标题 | 类型(书/论文/框架/源码项目) | 出现章节 | 一句话语境 |
|---|---|---|---|
| 机器学习(Tom Mitchell) | 书 | 008、013、021、109、119 | 自序推荐;第 1 章引用任务、性能、经验定义。 |
| 机器学习(周志华) | 书 | 008、038、040、043、078、081、084、094、139、144、183、197 | 自序举作领域教材。 |
| 统计学习理论的本质 | 书 | 013、021 | 经验数据与函数估计的定义来源。 |
| The Elements of Statistical Learning | 书 | 013、021 | 学习数据模式和趋势的定义来源。 |
| 机器学习:从公理到算法 | 书 | 013、021、029、033、037、043 | 不同定义强调数据;第 3 章引用其无监督学习背景。 |
| AI不可怕,就怕AI会画画 | 文章 | 014、021 | 四象限划分的参考。 |
| 统计学习方法 | 书 | 014、021、027、033、036、043 | 解释统计学习对象。 |
| The End of Theory | 文章 | 015、021 | 数据规模与科学方法的讨论。 |
| 深度学习的昨天、今天和明天 | 论文 | 015、021 | 大数据与大模型结合的看法。 |
| End to End Learning for Self-Driving Cars | 论文 | 017、021 | 摄像头到转向指令实例。 |
| 理想国 | 书 | 017、021 | 借洞穴比喻讲观测局限。 |
| 大数据改变世界 | 书 | 017、021 | 呈现数据编码观点。 |
| 从复杂性科学到大数据技术 | 论文 | 017、021 | 支持整体性与复杂性的讨论。 |
| 1200层神经网络夺冠ImageNet,深度学习越深越好? | 文章 | 018、021 | 网络深度的历史案例。 |
| A Logical Calculus of Ideas Immanent in Nervous Activity | 论文 | 063、068 | M-P 模型与逻辑神经元的原始论文。 |
| 形式语言与自动机导论 | 书 | 063、068 | 图灵机概念的参考资料。 |
| Meet Walter Pitts, the Homeless Genius Who Revolutionized | 文章 | 063、068 | 作者介绍 Pitts 生平的参考资料。 |
| 数学原理 | 书 | 063 | 书中作为逻辑主义背景提及。 |
| 语言的逻辑句法 | 书 | 063 | 书中人物故事中提及。 |
| 几何原本 | 书 | 063 | 书中讨论公理化推演时提及。 |
| 自我与本我 | 书 | 063 | 用于对照书中的精神模型论述。 |
| Multilayer feedforward networks are universal approximators | 论文 | 030、033、085、094 | 通用近似定理的引用。 |
| A visual proof that neural nets can compute any function | 文章 | 030、033、085、094 | 神经网络表达能力的可视化讲解。 |
| Conversational speech transcription using contextdependent deep neural networks | 论文 | 086、094 | 深度与宽度比较的语音实验。 |
| Improving neural networks by preventing co-adaptation of feature detectors | 论文 | 087、094 | Dropout 的参考。 |
| Analysis of Dropout Learning Regarded as Ensemble Learning | 论文 | 088、094、183 | 从集成学习角度分析 dropout。 |
| Learning representations by back-propagating errors | 论文 | 090、094、098、109、115、119 | 反向传播历史与表示学习的论文。 |
| 熵:一种新的世界观 | 书 | 091、094 | 作者解释梯度弥散时引用,其类比不可直接替代数学推导。 |
| A fast learning algorithm for deep belief nets | 论文 | 091、094、097、109、115、119 | 深度信念网与逐层预训练的历史资料。 |
| Backpropagation applied to handwritten zip code recognition | 论文 | 119 | 手写邮编识别的反向传播历史研究。 |
| Beyond Regression: New Tools for Prediction and Analysis in the Behavioral Sciences | 论文 | 112、119 | Werbos 论文及反向传播历史。 |
| Calculus on Computational Graphs: Backpropagation | 文章 | 114、119 | 计算图和链式求导的解释。 |
| 机器学习导论(Miroslav Kubat) | 书 | 115、119 | 反向传播推导参考。 |
| How to Implement the Backpropagation Algorithm From Scratch In Python | 文章 | 116、119 | BP 代码示例参考。 |
| 深入浅出深度学习 | 书 | 135、138、140、144、168、183 | 卷积定义、局部连接与池化的参考。 |
| 从脑认知到人工智能 | 文章 | 135、144 | 卷积生活类比的来源。 |
| An Intuitive Explanation of Convolutional Neural Networks | 文章 | 136、140、144 | 图像卷积和池化的参考。 |
| Visualizing and understanding convolutional networks | 论文 | 138、144 | 卷积层特征可视化的参考。 |
| Rectified linear units improve restricted boltzmann machines | 论文 | 139、144、153、156 | ReLU 的参考。 |
| Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification | 论文 | 139、144 | 整流函数变体参考。 |
| A Theoretical Analysis of Feature Pooling in Visual Recognition | 论文 | 140、144 | 池化分析的参考。 |
| Network in network | 论文 | 143、144 | 全局平均池化的讨论来源。 |
| Artificial intelligence pioneer says we need to start over | 文章 | 197 | 书中引述的 Hinton 研究观点背景。 |
| 浅析 Hinton 最近提出的 Capsule 计划 | 文章 | 197 | 胶囊网络的历史解读。 |
| Batch-normalized maxout network in network | 论文 | 197 | 作者讨论胶囊表示时引用。 |
| Dynamic routing between capsules | 论文 | 186、191、192、193、194、197 | 胶囊网络与动态路由原论文。 |
| Transforming auto-encoders | 论文 | 188、197 | 早期胶囊与变换表征研究。 |
| The minicolumn hypothesis in neuroscience | 论文 | 189、197 | 皮层微柱的研究背景。 |
| Reducing the dimensionality of data with neural networks | 论文 | 192、197 | 深度自编码器与降维。 |
| Capsule Networks Are Shaking up AI — Here’s How to Use Them | 文章 | 187、197 | 书中 CNN 对比的资料。 |
| Understanding Hinton’s Capsule Networks. Part I: Intuition | 文章 | 188、197 | 胶囊概念解释。 |
| Large scale distributed deep networks | 论文 | 122、131 | DistBelief 分布式深度网络的背景。 |
| TensorFlow: A System for Large-Scale Machine Learning | 论文 | 122、131 | TensorFlow 系统来源。 |
| Caffe: Convolutional architecture for fast feature embedding | 论文 | 123、131 | Caffe 的原始论文。 |
| A scalable concurrent malloc implementation for FreeBSD | 论文 | 124、131 | 源码构建依赖的内存分配器资料。 |
| 面向机器智能的TensorFlow实践 | 书 | 124、131 | TensorFlow 构建与实践参考。 |
| TensorFlow实战 | 书 | 127、131、153、155、156 | Softmax 与经典网络实践参考。 |
| MNIST For ML Beginners | 文章 | 127、131 | MNIST 示例的原始教程。 |
| DyNet: The Dynamic Neural Network Toolkit | 论文 | 128、131 | 动态计算框架示例。 |
| Imagenet classification with deep convolutional neural networks | 论文 | 151、153、156 | AlexNet 与局部响应规范化。 |
| What Is Local Response Normalization In Convolutional Neural Networks | 文章 | 151、156 | LRN 参数和背景解释。 |
| Batch normalization: Accelerating deep network training by reducing internal covariate shift | 论文 | 151、156 | 批规范化原始动机与算法。 |
| 什么是批标准化 (Batch Normalization) | 文章 | 151、156 | 批规范化的图示解释。 |
| Adam: A method for stochastic optimization | 论文 | 152、156 | Adam 优化器。 |
| Digital selection and analogue amplification coexist in a cortex-inspired silicon circuit | 论文 | 153、156 | ReLU 历史背景。 |
| Dropout: a simple way to prevent neural networks from overfitting | 论文 | 149、156、183 | Dropout 的原始论文。 |
| 技术的本质 | 书 | 130 | 作者提出框架演化问题时推荐。 |
| 计算机程序设计的艺术 | 书 | 125 | 作者介绍高德纳及文学化编程。 |
| 相对论(爱因斯坦) | 书 | 125 | 高德纳著作地位的类比。 |
| 量子电动力学讲义 | 书 | 125 | 高德纳著作地位的类比。 |
| Scikit-learn: Machine learning in Python | 论文 | 46、52 | 科学计算及机器学习工具的来源。 |
| Why Python 3 exists | 文章 | 47、52 | Python 3 的设计动机。 |
| Python可以这样学(董付国) | 书 | 49、52、55、59 | Python 语法与代码参考;第 4 章写“这样学”,第 5 章写“这么学”,此处按作者合并登记。 |
| 实用机器学习(Henrik Brink 等) | 书 | 59 | 机器学习实践参考。 |
| 机器学习之路—Caffe、Keras、scikit-learn实战 | 书 | 56、59 | scikit-learn 近邻示例参考。 |
| How To Implement Simple Linear Regression From Scratch With Python | 文章 | 55、59 | 线性回归示例来源。 |
| Tutorial To Implement k-Nearest Neighbors in Python From Scratch | 文章 | 56、59 | 手写近邻分类示例来源。 |
| Deep belief networks(Hinton) | 文章 | 168 | 循环网络章节参考背景。 |
| Neural networks and physical systems with emergent collective computational abilities | 论文 | 161、168 | Hopfield 网络原始论文。 |
| 神经网络七十年:回顾与展望 | 论文 | 81、161、168 | Hopfield 网络历史。 |
| Serial order: A parallel distributed processing approach | 论文 | 161、168 | Jordan 网络历史。 |
| Finding structure in time | 论文 | 161、168 | Elman 网络来源。 |
| Long Short-Term Memory | 论文 | 161、168、172、176、183 | LSTM 原始研究。 |
| On the computational power of neural nets | 论文 | 161、168 | 循环网络计算能力的理论结果。 |
| A neural probabilistic language model | 论文 | 161、164、168、179、183 | 神经语言模型。 |
| Principles of connectivity among morphologically defined cell types in adult neocortex | 论文 | 162、168 | 生物神经连接的类比背景。 |
| How to build a Recurrent Neural Network in TensorFlow | 文章 | 165、168 | 正弦 RNN 示例来源。 |
| Fundamentals of Deep Learning – Introduction to Recurrent Neural Networks | 文章 | 165、168 | RNN 逐步演算参考。 |
| Deep learning(LeCun、Bengio、Hinton) | 论文 | 172、183 | 深度学习综述。 |
| Generative adversarial nets | 论文 | 172、183 | GAN 历史背景。 |
| Learning Factorial Codes by Predictability Minimization | 论文 | 172、183 | 生成方法历史对照。 |
| A Novel Connectionist System for Unconstrained Handwriting Recognition | 论文 | 173、183 | 循环网络应用。 |
| Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling | 论文 | 175、183 | 门控循环单元比较。 |
| Google’s Neural Machine Translation System: Bridging the Gap between Human and Machine Translation | 论文 | 173、183 | 神经机器翻译应用。 |
| iOS 10: Siri now works in third-party apps, comes with extra AI features | 文章 | 173、183 | 语音助手历史背景。 |
| Understanding LSTM Networks | 文章 | 175、176、183 | LSTM 门控解释。 |
| LSTM Forward and Backward Pass | 文章 | 176、183 | LSTM 前向与反向传播。 |
| 数学之美(吴军) | 书 | 177、183 | 自然语言处理参考。 |
| From frequency to meaning: Vector space models of semantics | 论文 | 178、183 | 词语向量表示背景。 |
| LSTM里Embedding Layer的作用是什么 | 文章 | 178、183 | 嵌入层解释。 |
| Nonlinear dimensionality reduction by locally linear embedding | 论文 | 178、183 | 嵌入与降维背景。 |
| RNNLM-recurrent neural network language modeling toolkit | 论文 | 179、183 | 循环神经语言模型工具。 |
| Distributed Representations of Words and Phrases and their Compositionality | 论文 | 179、183 | 词向量参考。 |
| Efficient estimation of word representations in vector space | 论文 | 179、183 | 词向量参考。 |
| Recurrent neural network regularization | 论文 | 179、180、183 | 循环网络正则化与 PTB 示例。 |
| Deep Learning(Goodfellow 等) | 书 | 183 | 深度学习教材。 |
| Generating sequences with recurrent neural networks | 论文 | 183 | 循环网络生成序列。 |
| 未来简史 | 书 | 24、27、33 | 数据主义与机器学习定义背景。 |
| 奇点临近 | 书 | 25、32、33 | 奇点预测及思考题。 |
| Neural Networks and Deep Learning(Nielsen) | 书 | 30、33 | 通用近似解释。 |
| Can neural networks solve any problem? | 文章 | 30、33 | ReLU 近似示例。 |
| Desmos 函数近似演示 | 源码项目 | 30、33 | 原书引用的函数绘图演示。 |
| Data Mining: Concepts and Techniques | 书 | 36、37、43 | 监督和非监督学习的背景。 |
| Top 10 algorithms in data mining | 论文 | 36、43 | k 近邻的引用。 |
| 中庸之美 | 文章 | 39、43 | 作者文化类比的出处。 |
| Mastering the game of Go without human knowledge | 论文 | 40、43 | AlphaGo Zero 的历史案例。 |
| 乡土中国 | 书 | 133、134、144 | 视觉与局部观察的类比。 |
| Receptive fields and functional architecture of monkey striate cortex | 论文 | 134、144 | 视觉皮层感受野研究背景。 |
| Neocognitron: A self-organizing neural network model for a mechanism of visual pattern recognition | 论文 | 134、144 | 卷积网络早期历史。 |
| Handwritten digit recognition with a back-propagation network | 论文 | 134、144 | 手写识别历史。 |
| Gradient-based learning applied to document recognition | 论文 | 119、134、144 | LeNet 和文档识别。 |
| How do computers see an image? | 文章 | 136、144 | 图像表示背景。 |
| The Cost of Cortical Computation | 论文 | 139、144 | 生物计算能耗的历史讨论。 |
| Convolutional deep belief networks on cifar-10 | 论文 | 138、144 | CIFAR 数据与卷积实验参考。 |
| 深度学习(Goodfellow 等中译) | 书 | 140、144 | 池化相关参考。 |
| Inceptionism: Going Deeper into Neural Networks | 文章 | 143、144 | 神经网络艺术示例。 |
| How Artists Can Use Neural Networks to Make Art | 文章 | 143、144 | 风格化图像示例。 |
| Artificial intelligence: What Everyone Needs to Know | 书 | 72、81 | 感知机及历史报道。 |
| 必然(凯文·凯利) | 书 | 72、81 | 知化与技术趋势。 |
| 神经网络与深度学习(吴岸城) | 书 | 81 | 感知机参考。 |
| Perceptrons: An introduction to computational geometry | 书 | 78、81 | 线性可分性及历史讨论。 |
| 改变:问题形成和解决的原则 | 书 | 78、81 | 对待未解决问题的讨论。 |
| 人工智能的下一个技术风口与商业风口 | 文章 | 78、81 | 作者对未来技术结合的引述。 |
| 人工智能(李开复、王咏刚) | 书 | 84、94 | 神经网络历史叙述。 |
| Deep Learning Godfather says machines learn like toddlers | 文章 | 84、94 | 深度学习历史观点。 |
| 熵的社会学意义 | 文章 | 91、94 | 熵的社会类比。 |
| 有限与无限的游戏 | 书 | 93、94 | 作者引用的跨领域讨论。 |
| 智能时代(吴军) | 书 | 97、109 | 优化与数据背景。 |
| Parallel Distributed Processing, Volume 1 | 书 | 98、109 | 连接主义与反向传播背景。 |
| Vector Calculus: Understanding the Gradient | 文章 | 109 | 梯度的直观解释。 |
| 零基础入门深度学习(2): 线性单元和梯度下降 | 文章 | 109 | 线性单元与梯度下降资料。 |
| How to Implement Linear Regression With Stochastic Gradient Descent From Scratch With Python | 文章 | 106、109 | 随机梯度线性回归代码来源。 |
| Hands-on ML: extra_capsnets.ipynb(Aurélien Géron) | 源码项目 | 193 | 书中胶囊实现脚注注明的代码来源。 |
| Hinton 团队 capsules 源码 | 源码项目 | 193 | 作者推荐的另一份胶囊实现,未验证当前链接。 |
资金安全问题案例
| 问题标题 | 问题卡 | 解决方案卡(如有) | 出现章节 | 一句话说明 |
|---|
实践卡进度
| 序号 | 实践标题 | 实践方式 | 状态(pending/done) | 关联章节 | 产出 |
|---|---|---|---|---|---|
| 001 | 追踪交叉验证的数据边界 | 实现深读 | done | 10 | 实践卡;已核验 scikit-learn 1.7.2 源码入口和初步映射,后续深读未执行。 |
| 002 | 用一页讲解检验学习 | 真实任务 | done | 后记、10 | 实践卡;已给出目标、步骤与核对标准,后续写作未执行。 |
实践候选筛选:done
未采用候选与原因:从零重写近邻、BP、LSTM 或胶囊网络与成熟实现深读目标重复且成本较高;历史 TensorFlow 1.x 安装步骤随版本变化,缺少当前真实任务;“改变数据规模比较性能”和艺术风格创作缺少用户指定的数据对象或目标,不编造可执行事实。后记的输出驱动学习采用当前书中反向传播讲解这一真实输入。
相关主题
从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。
暂无公开主题。