人工神经网络是计算抽象
人工神经网络把生物神经元及其连接作为设计启发,转成可训练的计算模型。它保留了“单元连接、输入整合和学习变化”等可用于计算的抽象,并不要求逐项复制真实神经细胞。理解这类模型时,应分别说明计算单元做什么、连接如何传递信息、参数怎样随训练改变;生物类比本身不能证明模型解释了大脑的认知过程。
主题对照
从 MP 模型、感知器、ADALINE、Hebb、Hopfield 到 RBF、RBM、玻尔兹曼机,网络怎样从线性判别走到可训练的多层;反向传播、激活函数、逐层预训练、Dropout、梯度弥散各解决什么问题。
人工神经网络把生物神经元及其连接作为设计启发,转成可训练的计算模型。它保留了“单元连接、输入整合和学习变化”等可用于计算的抽象,并不要求逐项复制真实神经细胞。理解这类模型时,应分别说明计算单元做什么、连接如何传递信息、参数怎样随训练改变;生物类比本身不能证明模型解释了大脑的认知过程。
人工神经网络借用连接强度可变化、输入累积和阈值响应等生物启发来设计计算过程。这些局部类比不能推出模型已经解释真实大脑的整体认知结构,也不能仅凭“像神经元”证明性能。判断模型是否有解释力,要区分可计算的工程机制与需要独立实验支持的神经科学命题;书中关于抑制性神经元如何实现“赢家通吃”(一种竞争机制:保留使用频繁、输入较强的连接,去除弱连接)的提问应视为研究假设。
单层感知器把输入按可调权重汇总后,经阈值或激活规则输出类别;它形成的是线性判别边界(二维时是一条直线),因此不能直接表示异或这类线性不可分关系。
异或在两输入相同时输出 0、不同时输出 1:(0,0)→0,(0,1)→1,(1,0)→1,(1,1)→0。推导(补充):设当 w₁x₁+w₂x₂+b>0 时输出 1。由 (0,0)→0 得 b≤0;由 (0,1)、(1,0)→1 得 w₂+b>0、w₁+b>0,相加得 w₁+w₂+b>−b≥0,于是 (1,1) 也会输出 1,与异或矛盾。所以没有任何一条直线能分开这两类点。
训练能调整权重,却不能改变单层线性模型的表达能力。遇到训练失败时,应先检查目标是否可线性分割,再考虑增加非线性特征或隐藏层,而非仅延长迭代。
反向传播为多层前馈网络提供按输出误差调整各层权重的办法:
以 Sigmoid f(z)=1/(1+e^(−z)) 为例,导数 f′(z)=f(z)[1−f(z)],可直接用正向时算好的输出 a 写成 a(1−a);演示:a=0.8 时导数为 0.8×0.2=0.16。
隐藏层与非线性激活扩展了单层线性模型的表达范围;但能训练多层网络不等于任何结构都能学到目标函数,结果仍取决于数据、架构和优化条件。
McCulloch–Pitts 模型把单个神经元抽象成产生开关输出的逻辑单元,再通过连接多个单元组成逻辑计算。
示例(补充):两个输入 x₁、x₂ 只取 0 或 1,权重都为 1,单元在 x₁+x₂ 超过阈值时输出 1。阈值取 1.5 时只有两者都为 1 才输出 1,相当于“与”;阈值取 0.5 时任一为 1 就输出 1,相当于“或”。同一种单元只换阈值就能实现不同逻辑,再把单元连接起来即可组合更复杂的逻辑。
它的重要性在于展示“简单单元加连接”可以形成计算结构;这只是对生物神经元的高度简化,不能由逻辑门模拟直接推断真实大脑活动已得到解释。
ADALINE 是自适应线性单元,利用可调权重对输入形成线性响应,并通过训练修改权重。它与单纯固定逻辑单元的区别在于参数可由数据适应;原书把 Widrow–Hoff 学习法与通信回波、噪声抵消等应用联系起来,但本节没有给出更新公式或实验条件,不能仅凭案例推断对任意噪声都有效。
Hopfield 网络是一类带反馈连接的神经网络,可把状态演化用于信息存储与提取。离散型和连续型的区别涉及神经元状态或激活形式;本节只给出发展线索和结构图,未展开能量函数、更新顺序或收敛条件。理解后续算法时,应先核对具体变体,再判断它怎样保存模式和到达稳定状态。
计算神经元先将输入按连接权重汇总并加入偏置,再交给激活函数得到输出,即 y=φ(Σwⱼxⱼ+b)。若各层只有线性变换,多层复合仍等价于一个线性变换:两层 W₂(W₁x+b₁)+b₂ 展开为 (W₂W₁)x+(W₂b₁+b₂),只相当于一层权重为 W₂W₁、偏置为 W₂b₁+b₂ 的网络。在层间加入非线性激活,才可能表达更复杂的输入输出关系。硬阈值、线性与 S 型函数会给出不同响应和可导性,选择时还要考虑训练所需梯度;不能把所有激活函数视为等效。
前馈网络让信息从输入层经隐藏层流向输出层,单次前向计算中没有反馈环;反馈或循环网络允许状态与信号沿回路反复影响后续状态。前者常把多层函数组合用于映射,后者可研究动态状态与稳定性。反馈网络并不必然是无向完全图,具体连接、更新规则和能否稳定都由模型决定;比较两类网络应看信息是否回流,而非只数层数。
Hebb 学习用突触前后单元的共同活动调整连接强度:两侧同时活跃时增强连接。简化更新式为 新权重 = 旧权重 + α·a·p,其中 p 是输入、a 是实际输出、α 是正的学习速度。演示:α=0.1 时,p=1、a=1 使权重加 0.1;p 或 a 有一个为 0 则不变。它可以不依赖目标标签,因此是无监督的局部学习思路;但原始规则本身并不保证权重有界、分类正确或生物机制已被完整模拟。若换成目标输出参与更新,已是带监督信号的变体,应与原始规则区分。
Delta 规则利用目标输出与实际输出之差调整连接权重:新权重 = 旧权重 + a·(d−y)·x,d 为期望输出,y 为实际输出,x 为该连接的输入,a 为学习速率。误差 d−y 的正负决定增减,输入和学习率决定幅度。演示:a=0.5、d=1、y=0.6、x=1 时权重加 0.2;x=0 的连接不变。它把监督信号直接用于学习,与不需要目标输出的 [[Hebb学习强化共同活跃连接]] 不同。规则改变的是参数更新方式,并不会使单个线性单元自动获得非线性表达能力;原书称其可解决单层感知器不能解决的非线性问题,需补充网络结构等前提。
Dropout 在训练的每次前向计算中随机把部分隐藏单元输出置零,并在该掩码下反向更新权重;下一次可重新采样掩码。它让模型不能总依赖同一组特征组合,是缓解过拟合的一种正则化方法。被屏蔽单元没有从网络结构中永久删除,推断时通常使用完整网络并按实现约定处理激活尺度;效果仍须由验证数据确认。
感知器把多个输入分别乘以可调权重,再汇总偏置并经激活函数输出。单个感知器形成线性判别边界,适合线性可分的二类任务;多个单元叠成网络后,非线性能力还取决于层间激活与训练方式。原书把乘法、加法和激励分别类比突触传导、胞体整合与输出限制,这只是计算抽象。
径向基函数的响应只由输入 x 与某个中心 c 的距离决定,常用欧氏距离,也可选其他距离。以书中的高斯函数 φ=exp(−‖x−c‖/δ²) 为例(常见写法用距离平方),δ 是宽度参数。演示:δ=1 时,距离 0、1、3 的响应约为 1、0.37、0.05——离中心越远响应越弱,所以每个隐单元只对中心附近的输入敏感,形成“局部响应”。
RBF 网络让隐层各单元以不同中心计算这种响应,输出层再做线性加权:yᵢ=Σⱼ wᵢⱼ·φⱼ。中心、宽度和输出权重共同决定拟合结果;选错中心或宽度仍会欠拟合或过拟合,不能把“可逼近非线性函数”理解为任意训练集上自动泛化。
书中将 RBF 正则化网络用于函数重建:通过先验约束限制映射的粗糙程度,使邻近输入的输出倾向接近;将广义网络用于模式分类:用隐层基函数扩展特征空间,再由输出层分类。高维映射只提供线性分隔的可能,分隔效果仍取决于基函数、样本和训练。
受限玻尔兹曼机(RBM)把观测放在可见层 v,把潜在表示放在隐层 h;同层无连接,跨层权重 w 及两层偏置 a、b 共同定义每个状态的能量:E(v,h)=−(aᵀv+bᵀh+vᵀwh)。状态概率 P(v,h)=e^(−E)/Z,配分函数 Z 是所有状态的 e^(−E) 之和,用来把概率归一到总和为 1。
演示(补充):可见、隐层各 1 个二值单元,a=b=0、w=1。只有 (1,1) 的能量为 −1,其余三个状态为 0;Z=e+3≈5.72,于是 P(1,1)≈2.72⁄5.72≈0.48,其余各约 0.17。能量越低,概率越高。
训练的目标是让模型分布贴近数据分布,而不是只找单个最低能量状态。
训练 RBM(见 [[RBM能量定义联合分布]])要提高观测数据的概率。对权重 wᵢⱼ 的梯度是两项之差:可见单元 i 与隐单元 j 同时取 1 的平均程度,先在数据上算一次,再在模型分布上算一次,前者减后者。第二项要对所有状态求和(含配分函数 Z),状态数随单元数指数增长,无法直接计算。
对比散度(CD)用短采样链近似第二项:
只交替一轮是 CD-1,交替 k 轮是 CD-k。短链节省计算,但近似有偏,重建得好也不必然表示模型分布拟合充分。
RBM 限制同一层单元不互连,使给定一层时另一层的单元可条件独立地处理。一般玻尔兹曼机放宽该限制,允许层内连接,能表达更多相互依赖,也使采样和训练更复杂。二者均以能量定义概率分布;原书称其为“自编码网络”会混淆能量模型与以重建映射为核心的自编码器。
逐层预训练先逐个学习隐藏层的表示,将学到的参数用作深层网络初值,再围绕最终任务联合微调。这是一种缓解深层训练困难的历史策略;初始化与任务目标分工不同,前一阶段学到的表示未必最适合最终任务。它不等于深层网络必须采用的训练流程,也不能据此断言反向传播无法训练深层模型。
前馈网络可写成多层函数依次复合:前一层的输出成为后一层的输入,链的长度表达模型深度。例如三个函数串成 f(x)=f⁽³⁾(f⁽²⁾(f⁽¹⁾(x))),x 先经第一层 f⁽¹⁾,结果交给第二层 f⁽²⁾,再交给第三层 f⁽³⁾,这条链长为 3。隐层位于输入与输出之间,逐层变换构成中间表示。深度与每层单元数所表达的宽度不同;比较网络层数前须说明输入层、输出层及其他运算是否计入,不能仅凭层多判断能力强。
深度表征学习让每一层处理前一层输出,将低层特征逐步组合成较抽象的表示,供分类等任务使用。表示由训练目标和数据共同塑造,层次越高不一定越有语义,也不保证更容易分类。它的价值在于把部分特征设计交给学习过程,仍需检验表示是否保留任务所需信息。
反向传播把输出端的误差逐层往输入端传,每经过一层都要乘上该层的局部导数(链式法则)。若这些因子多数小于 1,乘积会迅速缩小:示例假设每层因子都是 0.5,传过 5 层后只剩 0.5⁵≈0.03,靠近输入端的权值几乎得不到调整。这就是梯度弥散或梯度消失,层越多越明显。它与模型容量大、训练样本少导致的过拟合是不同问题。随机梯度下降与预训练可以改变训练过程,但单靠更换为随机更新不保证消除梯度消失,仍需检查激活、初始化和网络结构。
案例将原始输入经三层隐层的堆叠自编码特征学习,再接按类别设置的输出层,形成五层分类网络。自编码表示学习与最终类别预测承担不同目标;有标签分类损失用于评价整网输出,不能把整个网络都称为无监督。五层是该案例配置,不是自编码网络必须满足的深度。
书中DBN用逐层无监督学习得到较好的初始化,再进行监督微调,可利用大量未标注数据。这是早期深层模型训练的重要路线,不能据此说所有深度学习必须先DBN预训练,或预训练一定避开全部局部极值。把SVM、HMM等一律描述为“一个隐含层”也只是失真的类比,不应照搬为模型结构定义。
点击箭头逐层展开,点击卡片标题查看详情。路径上下文仅用于连接层级,不计入主题卡片数。
来源书籍
书籍类型:未标注
424 张卡片
来源书籍
算法与数据结构类。按全文与现有卡核对七项;“已覆盖”表示保留了本书实际展开的部分,不表示穷尽该领域。
书籍类型:经典原理
清单覆盖 6/7
367 张卡片
主题索引
比较传统机器学习、深度学习与强化学习的学习方式、特征假设、模型取舍与数据反馈闭环。
与 1 张主题卡片存在结构化链接;共享 1 个其他主题;来自相同书籍;属于相同分类
与 1 张主题卡片存在结构化链接;共享 1 个其他主题;来自相同书籍;属于相同分类
与 1 张主题卡片存在结构化链接;共享 1 个其他主题;来自相同书籍;属于相同分类
与 1 张主题卡片存在结构化链接;共享 1 个其他主题;来自相同书籍;属于相同分类
与 1 张主题卡片存在结构化链接;共享 1 个其他主题;来自相同书籍;属于相同分类
与 1 张主题卡片存在结构化链接;共享 1 个其他主题;来自相同书籍;属于相同分类