来源书籍

深度学习之美:AI时代的数据处理与最佳实践

Skill 版本:v24 103 张卡片

张玉宏 · 电子工业出版社 · 2018-06-01 · ISBN 9787121342462

章节与卡片

06 推荐序一 通俗也是一种美德

3 张卡片
  1. 神经元加权汇集与激活 理解等级:中级 普通读书笔记卡
  2. 阶跃与平滑激活的训练差异 理解等级:中级 普通读书笔记卡
  3. 阈值神经元实现逻辑门 理解等级:中级 普通读书笔记卡

07 推荐序二 技术,也可以“美”到极致

4 张卡片
  1. 感知机用误差修正权重 理解等级:中级 普通读书笔记卡
  2. 感知机用超平面分类 理解等级:中级 普通读书笔记卡
  3. 赫布学习关联共同活动 理解等级:中级 普通读书笔记卡
  4. 感知机收敛需要线性可分 理解等级:中级 普通读书笔记卡

08 自序 深度学习的浅度梦想

6 张卡片
  1. 隐层组合解决异或 理解等级:中级 普通读书笔记卡
  2. 概念由分布式特征表示 理解等级:中级 普通读书笔记卡
  3. Dropout训练时随机屏蔽 理解等级:中级 普通读书笔记卡
  4. 集成效果依赖准确与差异 理解等级:中级 普通读书笔记卡
  5. 损失函数定义误差代价 理解等级:中级 普通读书笔记卡
  6. 深层链式求导可能削弱梯度 理解等级:中级 普通读书笔记卡

09 第1章 一入侯门“深”似海,深度学习深几许

5 张卡片
  1. 梯度给出局部变化方向 理解等级:中级 普通读书笔记卡
  2. 梯度下降依赖方向与步长 理解等级:中级 普通读书笔记卡
  3. 批量与随机梯度的取舍 理解等级:中级 普通读书笔记卡
  4. 平方误差的线性模型更新 理解等级:中级 普通读书笔记卡
  5. 模拟退火允许有条件的逆向移动 理解等级:中级 普通读书笔记卡

10 章首导语

4 张卡片
  1. 链式法则汇合路径贡献 理解等级:中级 普通读书笔记卡
  2. 反向微分复用中间梯度 理解等级:中级 普通读书笔记卡
  3. 输出误差传回隐层 理解等级:高级 普通读书笔记卡
  4. 交叉验证每折重建训练流程 理解等级:高级 普通读书笔记卡

11 1.1 深度学习的巨大影响

11 张卡片
  1. 隔离环境安装与核验 理解等级:中级 操作参考卡
  2. 源码编译需要环境匹配 理解等级:中级 操作参考卡
  3. Notebook结合代码与说明 理解等级:初级 操作参考卡
  4. 数据流图与会话执行 理解等级:初级 操作参考卡
  5. 占位输入与可更新变量 理解等级:初级 操作参考卡
  6. 张量形状与按轴归约 理解等级:初级 操作参考卡
  7. 用TensorBoard检查计算图 理解等级:初级 操作参考卡
  8. Softmax把分类分数转成分布 理解等级:初级 普通读书笔记卡
  9. 交叉熵评估预测分布 理解等级:初级 普通读书笔记卡
  10. MNIST分类模型的端到端步骤 理解等级:初级 普通读书笔记卡
  11. 即时执行便于逐步调试 理解等级:初级 普通读书笔记卡

12 1.2 什么是学习

7 张卡片
  1. 卷积按位移加权叠加 理解等级:中级 普通读书笔记卡
  2. 局部连接与参数共享 理解等级:中级 普通读书笔记卡
  3. 步幅填充决定输出大小 理解等级:中级 普通读书笔记卡
  4. 非线性激活扩展表达 理解等级:中级 普通读书笔记卡
  5. ReLU正区与失活风险 理解等级:中级 普通读书笔记卡
  6. 池化汇总局部区域 理解等级:中级 普通读书笔记卡
  7. 欠拟合与过拟合看训练和泛化 理解等级:中级 普通读书笔记卡

13 1.3 什么是机器学习

7 张卡片
  1. 卷积输入输出的维度 理解等级:中级 普通读书笔记卡
  2. 批规范化依赖批统计与可学习变换 理解等级:中级 普通读书笔记卡
  3. 卷积分类器逐层核对形状 理解等级:初级 普通读书笔记卡
  4. Adam按梯度矩调整更新 理解等级:初级 普通读书笔记卡
  5. 数据增强利用保持标签的变化 理解等级:初级 普通读书笔记卡
  6. 局部响应规范化比较邻近通道 理解等级:中级 普通读书笔记卡
  7. 用固定卷积核观察图像滤波 理解等级:中级 操作参考卡

14 1.4 机器学习的4个象限

6 张卡片
  1. 循环状态汇集历史与当前输入 理解等级:中级 普通读书笔记卡
  2. 序列任务的输入输出对齐 理解等级:中级 普通读书笔记卡
  3. 时间展开反传共享参数 理解等级:高级 普通读书笔记卡
  4. 马尔可夫性依赖状态定义 理解等级:中级 普通读书笔记卡
  5. 联想记忆从扰动状态恢复模式 理解等级:中级 普通读书笔记卡
  6. 序列批次按连续性管理状态 理解等级:中级 普通读书笔记卡

15 1.5 什么是深度学习

10 张卡片
  1. LSTM门控更新记忆 理解等级:中级 普通读书笔记卡
  2. GRU合并状态与门控 理解等级:中级 普通读书笔记卡
  3. 上下文分布提供词义线索 理解等级:中级 普通读书笔记卡
  4. 词嵌入将词索引映射为向量 理解等级:中级 普通读书笔记卡
  5. Ngram使用有限上下文 理解等级:中级 普通读书笔记卡
  6. 循环网络正则化需考虑状态路径 理解等级:高级 普通读书笔记卡
  7. 下一个词预测的输入标签错位 理解等级:中级 普通读书笔记卡
  8. 梯度裁剪限制更新尺度 理解等级:中级 普通读书笔记卡
  9. 困惑度是平均预测损失的指数 理解等级:中级 普通读书笔记卡
  10. 对照不同观点建立领域地图 理解等级:初级 普通读书笔记卡

16 1.6 “恋爱”中的深度学习

5 张卡片
  1. 不变与同变保留不同信息 理解等级:中级 普通读书笔记卡
  2. 胶囊向量长度与方向 理解等级:中级 普通读书笔记卡
  3. 动态路由聚合一致预测 理解等级:中级 普通读书笔记卡
  4. 胶囊边缘损失区分真假类 理解等级:中级 普通读书笔记卡
  5. 重构检验表征保留的信息 理解等级:高级 普通读书笔记卡

01 一入侯门“深”似海,深度学习深几许

5 张卡片
  1. 任务指标经验定义学习 理解等级:初级 普通读书笔记卡
  2. 深层网络逐层学习表示 理解等级:中级 普通读书笔记卡
  3. 端到端联合学习映射 理解等级:中级 普通读书笔记卡
  4. 深度服务于表示学习 理解等级:高级 普通读书笔记卡
  5. 人工特征依赖领域先验 理解等级:中级 普通读书笔记卡

02 人工“碳”索意犹尽,智能“硅”来未可知

5 张卡片
  1. 监督方式与模型结构分开 理解等级:初级 普通读书笔记卡
  2. 学习由建模评估优化组成 理解等级:中级 普通读书笔记卡
  3. 规则推理与连接权重 理解等级:中级 普通读书笔记卡
  4. 可近似性不保证泛化 理解等级:高级 普通读书笔记卡
  5. 神经网络优化可能面对非凸目标 理解等级:中级 普通读书笔记卡

03 “机器学习”三重门,“中庸之道”趋若人

8 张卡片
  1. 教师信号约束预测 理解等级:中级 普通读书笔记卡
  2. 近邻投票依赖距离 理解等级:中级 普通读书笔记卡
  3. 相似性定义改变聚类 理解等级:中级 普通读书笔记卡
  4. K均值交替分配与更新 理解等级:中级 普通读书笔记卡
  5. 半监督依赖聚类假设 理解等级:高级 普通读书笔记卡
  6. 强化学习优化长期回报 理解等级:中级 普通读书笔记卡
  7. 自我对弈仍产生训练数据 理解等级:高级 普通读书笔记卡
  8. 探索与利用需要权衡 理解等级:初级 普通读书笔记卡

04 人生苦短对酒歌,我用Python乐趣多

9 张卡片
  1. 科学计算库按职责分工 理解等级:中级 普通读书笔记卡
  2. 命令路径决定解释器 理解等级:中级 普通读书笔记卡
  3. 对象可变性影响函数调用 理解等级:中级 普通读书笔记卡
  4. 位置与关键字参数收集 理解等级:中级 普通读书笔记卡
  5. 文本与字节通过编码转换 理解等级:初级 普通读书笔记卡
  6. Python代码块与执行方式 理解等级:初级 操作参考卡
  7. Python容器按访问和可变性选择 理解等级:初级 操作参考卡
  8. Python模块导入与名称绑定 理解等级:初级 操作参考卡
  9. 类和实例的属性与方法 理解等级:初级 操作参考卡

05 机器学习终觉浅,Python带我来实践

8 张卡片
  1. 最小二乘拟合直线 理解等级:中级 普通读书笔记卡
  2. 训练误差只衡量拟合 理解等级:中级 普通读书笔记卡
  3. 验证选择近邻数量 理解等级:中级 普通读书笔记卡
  4. 缩放改变近邻次序 理解等级:中级 普通读书笔记卡
  5. 读取CSV后转换特征类型 理解等级:初级 操作参考卡
  6. 绘制散点图检查样本关系 理解等级:初级 操作参考卡
  7. 距离定义决定近邻 理解等级:初级 普通读书笔记卡
  8. 近邻分类的拟合预测与评估 理解等级:初级 普通读书笔记卡

全书概览

《深度学习之美:AI时代的数据处理与最佳实践》概览

Skill 版本:v24

执行模式:light

建档进度:done

正式评级:信息浓度高、稳定性高,经典原理;总表当前优先级 P4。第 6–10 章解释神经元、梯度和反向传播,第 12–16 章解释卷积、循环、门控与路由机制及边界;这些原理可迁移。第 4、11、13 章的安装截图及 TensorFlow 1.x API 有时效性,不作为当前操作说明。

主内容形态:概念解析型;书中穿插 Python 和历史框架操作示例。

整书笔记

章节进度追踪表

章节号 章节标题 状态(pending/done) 卡片数
006 推荐序一 通俗也是一种美德 done 0
007 推荐序二 技术,也可以“美”到极致 done 0
008 自序 深度学习的浅度梦想 done 0
009 第1章 一入侯门“深”似海,深度学习深几许 done 0
010 章首导语 done 0
011 1.1 深度学习的巨大影响 done 0
012 1.2 什么是学习 done 0
013 1.3 什么是机器学习 done 1
014 1.4 机器学习的4个象限 done 1
015 1.5 什么是深度学习 done 1
016 1.6 “恋爱”中的深度学习 done 0
017 1.7 深度学习的方法论 done 1
018 1.8 有没有浅层学习 done 1
019 1.9 本章小结 done 0
020 1.10 请你思考 done 0
021 参考资料 done 0
022 第2章 人工“碳”索意犹尽,智能“硅”来未可知 done 0
023 章首导语 done 0
024 2.1 信数据者得永生吗 done 0
025 2.2 人工智能的“江湖定位” done 0
026 2.3 深度学习的归属 done 1
027 2.4 机器学习的形式化定义 done 1
028 2.5 为什么要用神经网络 done 1
029 2.6 人工神经网络的特点 done 1
030 2.7 什么是通用近似定理 done 1
031 2.8 本章小结 done 0
032 2.9 请你思考 done 0
033 参考资料 done 0
034 第3章 “机器学习”三重门,“中庸之道”趋若人 done 0
035 章首导语 done 0
036 3.1 监督学习 3.1.1 感性认知监督学习 3.1.2 监督学习的形式化描述 3.1.3 k-近邻算法 done 2
037 3.2 非监督学习 3.2.1 感性认识非监督学习 3.2.2 非监督学习的代表—K均值聚类 done 2
038 3.3 半监督学习 done 1
039 3.4 从“中庸之道”看机器学习 done 0
040 3.5 强化学习 done 2
041 3.6 本章小结 done 1
042 3.7 请你思考 done 0
043 参考资料 done 0
044 第4章 人生苦短对酒歌,我用Python乐趣多 done 0
045 章首导语 done 0
046 4.1 Python概要 4.1.1 为什么要用Python 4.1.2 Python中常用的库 done 1
047 4.2 Python的版本之争 done 1
048 4.3 Python环境配置 4.3.1 Windows下的安装与配置 4.3.2 Mac下的安装与配置 done 1
049 4.4 Python编程基础 4.4.1 如何运行Python代码 4.4.2 代码缩进 4.4.3 注释 4.4.4 Python中的数据结构 4.4.5 函数的设计 4.4.6 模块的导入与使用 4.4.7 面向对象程序设计 done 6
050 4.5 本章小结 done 0
051 4.6 请你思考 done 0
052 参考资料 done 0
053 第5章 机器学习终觉浅,Python带我来实践 done 0
054 章首导语 done 0
055 5.1 线性回归 5.1.1 线性回归的概念 5.1.2 简易线性回归的Python实现详解 done 4
056 5.2 k-近邻算法 5.2.1 k-近邻算法的三个要素 5.2.2 k-近邻算法实战 5.2.3 使用scikit-learn实现k-近邻算法 done 4
057 5.3 本章小结 done 0
058 5.4 请你思考 done 0
059 参考资料 done 0
060 第6章 神经网络不胜语,M-P模型似可寻 done 0
061 章首导语 done 0
062 6.1 M-P神经元模型是什么 done 1
063 6.2 模型背后的那些人和事 done 1
064 6.3 激活函数是怎样的一种存在 done 1
065 6.4 什么是卷积函数 done 0
066 6.5 本章小结 done 0
067 6.6 请你思考 done 0
068 参考资料 done 0
069 第7章 Hello World感知机,懂你我心才安息 done 0
070 章首导语 done 0
071 7.1 网之初,感知机 done 0
072 7.2 感知机名称的由来 done 1
073 7.3 感性认识“感知机” done 0
074 7.4 感知机是如何学习的 done 0
075 7.5 感知机训练法则 done 1
076 7.6 感知机的几何意义 done 1
077 7.7 基于Python的感知机实战 done 0
078 7.8 感知机的表征能力 done 1
079 7.9 本章小结 done 0
080 7.10 请你思考 done 0
081 参考资料 done 0
082 第8章 损失函数减肥用,神经网络调权重 done 0
083 章首导语 done 0
084 8.1 多层网络解决“异或”问题 done 1
085 8.2 感性认识多层前馈神经网络 done 0
086 8.3 是浅而“胖”好,还是深而“瘦”佳 done 0
087 8.4 分布式特征表达 done 1
088 8.5 丢弃学习与集成学习 done 2
089 8.6 现实很丰满,理想很骨感 done 0
090 8.7 损失函数的定义 done 1
091 8.8 热力学定律与梯度弥散 done 1
092 8.9 本章小结 done 0
093 8.10 请你思考 done 0
094 参考资料 done 0
095 第9章 山重水复疑无路,最快下降问梯度 done 0
096 章首导语 done 0
097 9.1 “鸟飞派”还飞不 done 0
098 9.2 1986年的那篇神作 done 0
099 9.3 多层感知机网络遇到的大问题 done 0
100 9.4 神经网络结构的设计 done 0
101 9.5 再议损失函数 done 0
102 9.6 什么是梯度 done 1
103 9.7 什么是梯度递减 done 2
104 9.8 梯度递减的线性回归实战 done 0
105 9.9 什么是随机梯度递减 done 2
106 9.10 利用SGD解决线性回归实战 done 0
107 9.11 本章小结 done 0
108 9.12 请你思考 done 0
109 参考资料 done 0
110 第10章 BP算法双向传,链式求导最缠绵 done 0
111 章首导语 done 0
112 10.1 BP算法极简史 done 0
113 10.2 正向传播信息 done 0
114 10.3 求导中的链式法则 done 2
115 10.4 误差反向传播 10.4.1 基于随机梯度下降的BP算法 10.4.2 输出层神经元的权值训练 10.4.3 隐含层神经元的权值训练 10.4.4 BP算法的感性认知 10.4.5 关于BP算法的补充说明 done 1
116 10.5 BP算法实战详细解释 10.5.1 初始化网络 10.5.2 信息前向传播 10.5.3 误差反向传播 10.5.4 训练网络(解决异或问题) 10.5.5 利用BP算法预测小麦品种的分类 done 1
117 10.6 本章小结 done 0
118 10.7 请你思考 done 0
119 参考资料 done 0
120 第11章 一骑红尘江湖笑,TensorFlow谷歌造 done 0
121 章首导语 done 0
122 11.1 TensorFlow概述 done 0
123 11.2 深度学习框架比较 11.2.1 Theano 11.2.2 Keras 11.2.3 Caffe 11.2.4 PyTorch done 0
124 11.3 TensorFlow的安装 11.3.1 Anaconda的安装 11.3.2 TensorFlow的CPU版本安装 11.3.3 TensorFlow的源码编译 done 2
125 11.4 Jupyter Notebook的使用 11.4.1 Jupyter Notebook的由来 11.4.2 Jupyter Notebook的安装 done 1
126 11.5 TensorFlow中的基础语法 11.5.1 什么是数据流图 11.5.2 构建第一个TensorFlow数据流图 11.5.3 可视化展现的TensorBoard 11.5.4 TensorFlow的张量思维 11.5.5 TensorFlow中的数据类型 11.5.6 TensorFlow中的操作类型 11.5.7 TensorFlow中的Graph对象 11.5.8 TensorFlow中的Session 11.5.9 TensorFlow中的placeholder 11.5.10 TensorFlow中的Variable对象 11.5.11 TensorFlow中的名称作用域 11.5.12 张量的Reduce方向 done 4
127 11.6 手写数字识别MNIST 11.6.1 MNIST数据集简介 11.6.2 MNIST数据的获取与预处理 11.6.3 分类模型的构建—Softmax Regression done 3
128 11.7 TensorFlow中的Eager执行模式 11.7.1 Eager执行模式的背景 11.7.2 Eager执行模式的安装 11.7.3 Eager执行模式的案例 11.7.4 Eager执行模式的MNIST模型构建 done 1
129 11.8 本章小结 done 0
130 11.9 请你思考 done 0
131 参考资料 done 0
132 第12章 全面连接困何处,卷积网络显神威 done 0
133 章首导语 done 0
134 12.1 卷积神经网络的历史 12.1.1 眼在何方?路在何方? 12.1.2 卷积神经网络的历史脉络 12.1.3 那场著名的学术赌局 done 0
135 12.2 卷积神经网络的概念 12.2.1 卷积的数学定义 12.2.2 生活中的卷积 done 1
136 12.3 图像处理中的卷积 12.3.1 计算机“视界”中的图像 12.3.2 什么是卷积核 12.3.3 卷积在图像处理中的应用 done 0
137 12.4 卷积神经网络的结构 done 0
138 12.5 卷积层要义 12.5.1 卷积层的设计动机 12.5.2 卷积层的局部连接 12.5.3 卷积层的3个核心概念 done 2
139 12.6 细说激活层 12.6.1 两个看似闲扯的问题 12.6.2 追寻问题的本质 12.6.3 ReLU的理论基础 12.6.4 ReLU的不足之处 done 3
140 12.7 详解池化层 done 1
141 12.8 勿忘全连接层 done 0
142 12.9 本章小结 done 0
143 12.10 请你思考 done 0
144 参考资料 done 0
145 第13章 纸上谈兵终觉浅,绝知卷积要编程 done 0
146 章首导语 done 0
147 13.1 TensorFlow的CNN架构 done 0
148 13.2 卷积层的实现 13.2.1 TensorFlow中的卷积函数 13.2.2 图像处理中的常用卷积核 done 2
149 13.3 激活函数的使用 13.3.1 Sigmoid函数 13.3.2 Tanh函数 13.3.3 修正线性单元——ReLU 13.3.4 Dropout函数 done 0
150 13.4 池化层的实现 done 0
151 13.5 规范化层 13.5.1 为什么需要规范化 13.5.2 局部响应规范化 13.5.3 批规范化 done 2
152 13.6 卷积神经网络在MNIST分类器中的应用 13.6.1 数据读取 13.6.2 初始化权值和偏置 13.6.3 卷积和池化 13.6.4 构建第一个卷积层 13.6.5 构建第二个卷积层 13.6.6 实现全连接层 13.6.7 实现Dropout层 13.6.8 实现Readout层 13.6.9 参数训练与模型评估 done 2
153 13.7 经典神经网络——AlexNet的实现 13.7.1 AlexNet的网络架构 13.7.2 数据读取 13.7.3 初始化权值和偏置 13.7.4 卷积和池化 13.7.5 局部响应归一化层 13.7.6 构建卷积层 13.7.7 实现全连接层和Dropout层 13.7.8 实现Readout层 13.7.9 参数训练与模型评估 done 1
154 13.8 本章小结 done 0
155 13.9 请你思考 done 0
156 参考资料 done 0
157 第14章 循环递归RNN,序列建模套路深 done 0
158 章首导语 done 0
159 14.1 你可能不具备的一种思维 done 1
160 14.2 标准神经网络的缺陷所在 done 0
161 14.3 RNN简史 14.3.1 Hopfield网络 14.3.2 Jordan递归神经网络 14.3.3 Elman递归神经网络 14.3.4 RNN的应用领域 done 1
162 14.4 RNN的理论基础 14.4.1 Elman递归神经网络 14.4.2 循环神经网络的生物学机理 done 1
163 14.5 RNN的结构 done 1
164 14.6 循环神经网络的训练 14.6.1 问题建模 14.6.2 确定优化目标函数 14.6.3 参数求解 done 1
165 14.7 基于RNN的TensorFlow实战——正弦序列预测 14.7.1 生成数据 14.7.2 定义权值和偏置 14.7.3 前向传播 14.7.4 定义损失函数 14.7.5 参数训练与模型评估 done 1
166 14.8 本章小结 done 0
167 14.9 请你思考 done 0
168 参考资料 done 0
169 第15章 LSTM长短记,长序依赖可追忆 done 0
170 章首导语 done 0
171 15.1 遗忘是好事还是坏事 done 0
172 15.2 施密德胡伯是何人 done 1
173 15.3 为什么需要LSTM done 0
174 15.4 拆解LSTM 15.4.1 传统RNN的问题所在 15.4.2 改造的神经元 done 0
175 15.5 LSTM的前向计算 15.5.1 遗忘门 15.5.2 输入门 15.5.3 候选门 15.5.4 输出门 done 2
176 15.6 LSTM的训练流程 done 0
177 15.7 自然语言处理的一个假设 done 1
178 15.8 词向量表示方法 15.8.1 独热编码表示 15.8.2 分布式表示 15.8.3 词嵌入表示 done 1
179 15.9 自然语言处理的统计模型 15.9.1 NGram模型 15.9.2 基于神经网络的语言模型 15.9.3 基于循环神经网络的语言模型 15.9.4 LSTM语言模型的正则化 done 2
180 15.10 基于Penn Tree Bank的自然语言处理实战 15.10.1 下载及准备PTB数据集 15.10.2 导入基本包 15.10.3 定义相关的参数 15.10.4 语言模型的实现 15.10.5 训练并返回perplexity值 15.10.6 定义主函数并运行 15.10.7 运行结果 done 3
181 15.11 本章小结 done 0
182 15.12 请你思考 done 0
183 参考资料 done 0
184 第16章 卷积网络虽动人,胶囊网络更传“神” done 0
185 章首导语 done 0
186 16.1 从神经元到神经胶囊 done 0
187 16.2 卷积神经网络面临的挑战 done 0
188 16.3 神经胶囊的提出 done 1
189 16.4 神经胶囊理论初探 16.4.1 神经胶囊的生物学基础 16.4.2 神经胶囊网络的哲学基础 done 0
190 16.5 神经胶囊的实例化参数 done 0
191 16.6 神经胶囊的工作流程 16.6.1 神经胶囊向量的计算 16.6.2 动态路由的工作机理 16.6.3 判断多数字存在性的边缘损失函数 16.6.4 胶囊神经网络的结构 done 3
192 16.7 CapsNet的验证与实验 16.7.1 重构和预测效果 16.7.2 胶囊输出向量的维度表征意义 16.7.3 重叠图像的分割 done 1
193 16.8 神经胶囊网络的TensorFlow实现 16.8.1 导入基本包及读取数据集 16.8.2 图像输入 16.8.3 卷积层Conv1的实现 16.8.4 PrimaryCaps层的实现 16.8.5 全连接层 16.8.6 路由协议算法 16.8.7 估计实体出现的概率 16.8.8 损失函数的实现 16.8.9 额外设置 16.8.10 训练和评估 16.8.11 运行结果 done 0
194 16.9 本章小结 done 0
195 16.10 请你思考 done 0
196 16.11 深度学习美在何处 done 0
197 参考资料 done 0
198 后记 done 0

非正文排除

spine项 类型 排除理由
001 titlepage.xhtml 书名页 Calibre 生成的封面入口
002 OEBPS/Text/coverpage.xhtml 封面 仅封面图
003 OEBPS/Text/copyright.xhtml 版权 书籍身份与版权声明
004 OEBPS/Text/chapter1.xhtml 扉页 仅图像式扉页
005 OEBPS/Text/chapter2.xhtml 内容简介 出版社对章节安排的摘要
199 OEBPS/Text/chapter23.xhtml 索引 术语及页码检索

待关联术语

术语名 出现章节 一句话语境
SVM 013、018、117 浅层模型例子;第 10 章简述其核方法和历史应用。
Boosting 018 本节将其列为浅层学习示例。
逻辑回归 018 本节举例说明可无隐层。
VGGNet 017、155 表 1-1 的任务规模对照;第 13 章提议继续学习。
DeepVideo、GNMT 017 表 1-1 的视频与翻译任务规模对照。
EM 路由 195 章末仅提及用期望最大化改进胶囊路由,未展开算法。
LeNet 155 本章建议进一步学习的经典卷积架构。
ResNet 018、155 ImageNet 竞赛层数的历史例子及后续学习方向。

引用文献

标题 类型(书/论文/框架/源码项目) 出现章节 一句话语境
机器学习(Tom Mitchell) 书 008、013、021、109、119 自序推荐;第 1 章引用任务、性能、经验定义。
机器学习(周志华) 书 008、038、040、043、078、081、084、094、139、144、183、197 自序举作领域教材。
统计学习理论的本质 书 013、021 经验数据与函数估计的定义来源。
The Elements of Statistical Learning 书 013、021 学习数据模式和趋势的定义来源。
机器学习:从公理到算法 书 013、021、029、033、037、043 不同定义强调数据;第 3 章引用其无监督学习背景。
AI不可怕,就怕AI会画画 文章 014、021 四象限划分的参考。
统计学习方法 书 014、021、027、033、036、043 解释统计学习对象。
The End of Theory 文章 015、021 数据规模与科学方法的讨论。
深度学习的昨天、今天和明天 论文 015、021 大数据与大模型结合的看法。
End to End Learning for Self-Driving Cars 论文 017、021 摄像头到转向指令实例。
理想国 书 017、021 借洞穴比喻讲观测局限。
大数据改变世界 书 017、021 呈现数据编码观点。
从复杂性科学到大数据技术 论文 017、021 支持整体性与复杂性的讨论。
1200层神经网络夺冠ImageNet,深度学习越深越好? 文章 018、021 网络深度的历史案例。
A Logical Calculus of Ideas Immanent in Nervous Activity 论文 063、068 M-P 模型与逻辑神经元的原始论文。
形式语言与自动机导论 书 063、068 图灵机概念的参考资料。
Meet Walter Pitts, the Homeless Genius Who Revolutionized 文章 063、068 作者介绍 Pitts 生平的参考资料。
数学原理 书 063 书中作为逻辑主义背景提及。
语言的逻辑句法 书 063 书中人物故事中提及。
几何原本 书 063 书中讨论公理化推演时提及。
自我与本我 书 063 用于对照书中的精神模型论述。
Multilayer feedforward networks are universal approximators 论文 030、033、085、094 通用近似定理的引用。
A visual proof that neural nets can compute any function 文章 030、033、085、094 神经网络表达能力的可视化讲解。
Conversational speech transcription using contextdependent deep neural networks 论文 086、094 深度与宽度比较的语音实验。
Improving neural networks by preventing co-adaptation of feature detectors 论文 087、094 Dropout 的参考。
Analysis of Dropout Learning Regarded as Ensemble Learning 论文 088、094、183 从集成学习角度分析 dropout。
Learning representations by back-propagating errors 论文 090、094、098、109、115、119 反向传播历史与表示学习的论文。
熵:一种新的世界观 书 091、094 作者解释梯度弥散时引用,其类比不可直接替代数学推导。
A fast learning algorithm for deep belief nets 论文 091、094、097、109、115、119 深度信念网与逐层预训练的历史资料。
Backpropagation applied to handwritten zip code recognition 论文 119 手写邮编识别的反向传播历史研究。
Beyond Regression: New Tools for Prediction and Analysis in the Behavioral Sciences 论文 112、119 Werbos 论文及反向传播历史。
Calculus on Computational Graphs: Backpropagation 文章 114、119 计算图和链式求导的解释。
机器学习导论(Miroslav Kubat) 书 115、119 反向传播推导参考。
How to Implement the Backpropagation Algorithm From Scratch In Python 文章 116、119 BP 代码示例参考。
深入浅出深度学习 书 135、138、140、144、168、183 卷积定义、局部连接与池化的参考。
从脑认知到人工智能 文章 135、144 卷积生活类比的来源。
An Intuitive Explanation of Convolutional Neural Networks 文章 136、140、144 图像卷积和池化的参考。
Visualizing and understanding convolutional networks 论文 138、144 卷积层特征可视化的参考。
Rectified linear units improve restricted boltzmann machines 论文 139、144、153、156 ReLU 的参考。
Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification 论文 139、144 整流函数变体参考。
A Theoretical Analysis of Feature Pooling in Visual Recognition 论文 140、144 池化分析的参考。
Network in network 论文 143、144 全局平均池化的讨论来源。
Artificial intelligence pioneer says we need to start over 文章 197 书中引述的 Hinton 研究观点背景。
浅析 Hinton 最近提出的 Capsule 计划 文章 197 胶囊网络的历史解读。
Batch-normalized maxout network in network 论文 197 作者讨论胶囊表示时引用。
Dynamic routing between capsules 论文 186、191、192、193、194、197 胶囊网络与动态路由原论文。
Transforming auto-encoders 论文 188、197 早期胶囊与变换表征研究。
The minicolumn hypothesis in neuroscience 论文 189、197 皮层微柱的研究背景。
Reducing the dimensionality of data with neural networks 论文 192、197 深度自编码器与降维。
Capsule Networks Are Shaking up AI — Here’s How to Use Them 文章 187、197 书中 CNN 对比的资料。
Understanding Hinton’s Capsule Networks. Part I: Intuition 文章 188、197 胶囊概念解释。
Large scale distributed deep networks 论文 122、131 DistBelief 分布式深度网络的背景。
TensorFlow: A System for Large-Scale Machine Learning 论文 122、131 TensorFlow 系统来源。
Caffe: Convolutional architecture for fast feature embedding 论文 123、131 Caffe 的原始论文。
A scalable concurrent malloc implementation for FreeBSD 论文 124、131 源码构建依赖的内存分配器资料。
面向机器智能的TensorFlow实践 书 124、131 TensorFlow 构建与实践参考。
TensorFlow实战 书 127、131、153、155、156 Softmax 与经典网络实践参考。
MNIST For ML Beginners 文章 127、131 MNIST 示例的原始教程。
DyNet: The Dynamic Neural Network Toolkit 论文 128、131 动态计算框架示例。
Imagenet classification with deep convolutional neural networks 论文 151、153、156 AlexNet 与局部响应规范化。
What Is Local Response Normalization In Convolutional Neural Networks 文章 151、156 LRN 参数和背景解释。
Batch normalization: Accelerating deep network training by reducing internal covariate shift 论文 151、156 批规范化原始动机与算法。
什么是批标准化 (Batch Normalization) 文章 151、156 批规范化的图示解释。
Adam: A method for stochastic optimization 论文 152、156 Adam 优化器。
Digital selection and analogue amplification coexist in a cortex-inspired silicon circuit 论文 153、156 ReLU 历史背景。
Dropout: a simple way to prevent neural networks from overfitting 论文 149、156、183 Dropout 的原始论文。
技术的本质 书 130 作者提出框架演化问题时推荐。
计算机程序设计的艺术 书 125 作者介绍高德纳及文学化编程。
相对论(爱因斯坦) 书 125 高德纳著作地位的类比。
量子电动力学讲义 书 125 高德纳著作地位的类比。
Scikit-learn: Machine learning in Python 论文 46、52 科学计算及机器学习工具的来源。
Why Python 3 exists 文章 47、52 Python 3 的设计动机。
Python可以这样学(董付国) 书 49、52、55、59 Python 语法与代码参考;第 4 章写“这样学”,第 5 章写“这么学”,此处按作者合并登记。
实用机器学习(Henrik Brink 等) 书 59 机器学习实践参考。
机器学习之路—Caffe、Keras、scikit-learn实战 书 56、59 scikit-learn 近邻示例参考。
How To Implement Simple Linear Regression From Scratch With Python 文章 55、59 线性回归示例来源。
Tutorial To Implement k-Nearest Neighbors in Python From Scratch 文章 56、59 手写近邻分类示例来源。
Deep belief networks(Hinton) 文章 168 循环网络章节参考背景。
Neural networks and physical systems with emergent collective computational abilities 论文 161、168 Hopfield 网络原始论文。
神经网络七十年:回顾与展望 论文 81、161、168 Hopfield 网络历史。
Serial order: A parallel distributed processing approach 论文 161、168 Jordan 网络历史。
Finding structure in time 论文 161、168 Elman 网络来源。
Long Short-Term Memory 论文 161、168、172、176、183 LSTM 原始研究。
On the computational power of neural nets 论文 161、168 循环网络计算能力的理论结果。
A neural probabilistic language model 论文 161、164、168、179、183 神经语言模型。
Principles of connectivity among morphologically defined cell types in adult neocortex 论文 162、168 生物神经连接的类比背景。
How to build a Recurrent Neural Network in TensorFlow 文章 165、168 正弦 RNN 示例来源。
Fundamentals of Deep Learning – Introduction to Recurrent Neural Networks 文章 165、168 RNN 逐步演算参考。
Deep learning(LeCun、Bengio、Hinton) 论文 172、183 深度学习综述。
Generative adversarial nets 论文 172、183 GAN 历史背景。
Learning Factorial Codes by Predictability Minimization 论文 172、183 生成方法历史对照。
A Novel Connectionist System for Unconstrained Handwriting Recognition 论文 173、183 循环网络应用。
Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling 论文 175、183 门控循环单元比较。
Google’s Neural Machine Translation System: Bridging the Gap between Human and Machine Translation 论文 173、183 神经机器翻译应用。
iOS 10: Siri now works in third-party apps, comes with extra AI features 文章 173、183 语音助手历史背景。
Understanding LSTM Networks 文章 175、176、183 LSTM 门控解释。
LSTM Forward and Backward Pass 文章 176、183 LSTM 前向与反向传播。
数学之美(吴军) 书 177、183 自然语言处理参考。
From frequency to meaning: Vector space models of semantics 论文 178、183 词语向量表示背景。
LSTM里Embedding Layer的作用是什么 文章 178、183 嵌入层解释。
Nonlinear dimensionality reduction by locally linear embedding 论文 178、183 嵌入与降维背景。
RNNLM-recurrent neural network language modeling toolkit 论文 179、183 循环神经语言模型工具。
Distributed Representations of Words and Phrases and their Compositionality 论文 179、183 词向量参考。
Efficient estimation of word representations in vector space 论文 179、183 词向量参考。
Recurrent neural network regularization 论文 179、180、183 循环网络正则化与 PTB 示例。
Deep Learning(Goodfellow 等) 书 183 深度学习教材。
Generating sequences with recurrent neural networks 论文 183 循环网络生成序列。
未来简史 书 24、27、33 数据主义与机器学习定义背景。
奇点临近 书 25、32、33 奇点预测及思考题。
Neural Networks and Deep Learning(Nielsen) 书 30、33 通用近似解释。
Can neural networks solve any problem? 文章 30、33 ReLU 近似示例。
Desmos 函数近似演示 源码项目 30、33 原书引用的函数绘图演示。
Data Mining: Concepts and Techniques 书 36、37、43 监督和非监督学习的背景。
Top 10 algorithms in data mining 论文 36、43 k 近邻的引用。
中庸之美 文章 39、43 作者文化类比的出处。
Mastering the game of Go without human knowledge 论文 40、43 AlphaGo Zero 的历史案例。
乡土中国 书 133、134、144 视觉与局部观察的类比。
Receptive fields and functional architecture of monkey striate cortex 论文 134、144 视觉皮层感受野研究背景。
Neocognitron: A self-organizing neural network model for a mechanism of visual pattern recognition 论文 134、144 卷积网络早期历史。
Handwritten digit recognition with a back-propagation network 论文 134、144 手写识别历史。
Gradient-based learning applied to document recognition 论文 119、134、144 LeNet 和文档识别。
How do computers see an image? 文章 136、144 图像表示背景。
The Cost of Cortical Computation 论文 139、144 生物计算能耗的历史讨论。
Convolutional deep belief networks on cifar-10 论文 138、144 CIFAR 数据与卷积实验参考。
深度学习(Goodfellow 等中译) 书 140、144 池化相关参考。
Inceptionism: Going Deeper into Neural Networks 文章 143、144 神经网络艺术示例。
How Artists Can Use Neural Networks to Make Art 文章 143、144 风格化图像示例。
Artificial intelligence: What Everyone Needs to Know 书 72、81 感知机及历史报道。
必然(凯文·凯利) 书 72、81 知化与技术趋势。
神经网络与深度学习(吴岸城) 书 81 感知机参考。
Perceptrons: An introduction to computational geometry 书 78、81 线性可分性及历史讨论。
改变:问题形成和解决的原则 书 78、81 对待未解决问题的讨论。
人工智能的下一个技术风口与商业风口 文章 78、81 作者对未来技术结合的引述。
人工智能(李开复、王咏刚) 书 84、94 神经网络历史叙述。
Deep Learning Godfather says machines learn like toddlers 文章 84、94 深度学习历史观点。
熵的社会学意义 文章 91、94 熵的社会类比。
有限与无限的游戏 书 93、94 作者引用的跨领域讨论。
智能时代(吴军) 书 97、109 优化与数据背景。
Parallel Distributed Processing, Volume 1 书 98、109 连接主义与反向传播背景。
Vector Calculus: Understanding the Gradient 文章 109 梯度的直观解释。
零基础入门深度学习(2): 线性单元和梯度下降 文章 109 线性单元与梯度下降资料。
How to Implement Linear Regression With Stochastic Gradient Descent From Scratch With Python 文章 106、109 随机梯度线性回归代码来源。
Hands-on ML: extra_capsnets.ipynb(Aurélien Géron) 源码项目 193 书中胶囊实现脚注注明的代码来源。
Hinton 团队 capsules 源码 源码项目 193 作者推荐的另一份胶囊实现,未验证当前链接。

资金安全问题案例

问题标题 问题卡 解决方案卡(如有) 出现章节 一句话说明

实践卡进度

序号 实践标题 实践方式 状态(pending/done) 关联章节 产出
001 追踪交叉验证的数据边界 实现深读 done 10 实践卡;已核验 scikit-learn 1.7.2 源码入口和初步映射,后续深读未执行。
002 用一页讲解检验学习 真实任务 done 后记、10 实践卡;已给出目标、步骤与核对标准,后续写作未执行。

实践候选筛选:done

未采用候选与原因:从零重写近邻、BP、LSTM 或胶囊网络与成熟实现深读目标重复且成本较高;历史 TensorFlow 1.x 安装步骤随版本变化,缺少当前真实任务;“改变数据规模比较性能”和艺术风格创作缺少用户指定的数据对象或目标,不编造可执行事实。后记的输出驱动学习采用当前书中反向传播讲解这一真实输入。

相关主题

从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。

暂无公开主题。