深度学习、CNN与RNN

深度学习不是简单地把[[神经网络损失函数与误差反向传播法|神经网络]]的中间层堆得更多——层次加深确实能表达更复杂的结构、解决更难的问题，但也需要更多数据和算力，物联网带来的数据爆发和计算机性能提升恰好让这条路走通了。真正让深度学习在各领域突破的，是针对数据结构特点设计的专门网络：CNN（卷积神经网络）用于图像，核心洞察是”一个像素点的意义主要由它和周围点的关系决定”，通过”卷积”（识别颜色突变等局部特征，强化边界信息）和”池化”（间隔抽样获得粗粒度图像，容忍位置错位）反复处理来提取图像特征，而不是孤立地处理每个像素；RNN（循环神经网络）及其改进版LSTM则针对时间序列/序列数据（机器翻译、语音识别），核心洞察是当前输出不能只看当前输入，还要记住之前的上下文。这提醒一个重要原则：深度学习的突破往往不是”更深”本身，而是把网络结构和数据的内在结构对应起来。