知识卡片
局部极小值与权重对称
凸问题里任何局部极小都是全局最小,但神经网络是非凸的,存在大量局部极小值。其中很大一部分并非真正的障碍,而是来自模型可辨识性问题:交换同一层两个隐藏单元的传入与传出权重会得到等价模型,m 层各 n 单元就有 n!^m 种排列,称为权重空间对称性;ReLU 或 maxout 网络的权重缩放也产生等价解。这些由不可辨识性产生的局部极小代价相同,不是非凸带来的麻烦。真正危险的是代价远高于全局最小的局部极小,但大网络是否常遇到它们仍是开放问题;当今主流猜想是足够大的网络里大多数局部极小代价都很低,找到全局最小并不重要。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第8章 深度模型中的优化 · 查看原书依据
由于模型可辨识性 (model identifiability)问题,神经网络和任意具有多个等效参数化潜变量的模型都会具有多个局部极小值。如果一个足够大的训练集可以唯一确定一组模型参数,那么该模型被称为可辨认的。带有潜变量的模型通常是不可辨认的,因为通过相互交换潜变量我们能得到等价的模型。
参考来源
- 位置:《深度学习》第8章 深度模型中的优化(源文件:extracted/深度学习/_epub-src/text/part0003.html)
- 结论依据:原文以模型可辨识性问题解释大量局部极小的来源,指出带潜变量的模型通常不可辨认,因为交换潜变量能得到等价模型。
- 原始内容:由于模型可辨识性 (model identifiability)问题,神经网络和任意具有多个等效参数化潜变量的模型都会具有多个局部极小值。如果一个足够大的训练集可以唯一确定一组模型参数,那么该模型被称为可辨认的。带有潜变量的模型通常是不可辨认的,因为通过相互交换潜变量我们能得到等价的模型。