知识卡片
非凸损失下的梯度训练
神经网络的非线性使大多数代价函数非凸,这与线性回归的闭式解、逻辑回归和 SVM 的凸优化根本不同。训练只能靠迭代的基于梯度的方法(如随机梯度下降)把代价降到很小,没有全局收敛保证,而且对参数初始值敏感。因此权重通常初始化为小随机数、偏置初始化为零或小正值;若把所有权重初始化为相同值,对称的单元会收到相同梯度而无法分化。尽管非凸,梯度仍能精确而高效地计算,靠的就是反向传播,所以训练流程与其他模型差别不大。权衡是:放弃凸性换来表示能力的巨大提升,但需要良好初始化、正则化与优化技巧来弥补收敛的不确定性。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第6章 深度前馈网络 · 查看原书依据
这意味着神经网络的训练通常使用迭代的、基于梯度的优化,仅仅使得代价函数达到一个非常小的值;而不是像用于训练线性回归模型的线性方程求解器,或者用于训练逻辑回归或SVM的凸优化算法那样保证全局收敛。
参考来源
- 位置:《深度学习》第6章 深度前馈网络(源文件:extracted/深度学习/_epub-src/text/part0002.html)
- 结论依据:原文对比了凸优化与神经网络非凸损失下的迭代梯度训练,强调对初值敏感,并给出权重小随机初始化、偏置为零或小正值的建议。
- 原始内容:这意味着神经网络的训练通常使用迭代的、基于梯度的优化,仅仅使得代价函数达到一个非常小的值;而不是像用于训练线性回归模型的线性方程求解器,或者用于训练逻辑回归或SVM的凸优化算法那样保证全局收敛。