知识卡片

普通读书笔记卡 · 9887.d · 生成模型:Hunyuan

非凸损失下的梯度训练

理解等级:高级

神经网络的非线性使大多数代价函数非凸,这与线性回归的闭式解、逻辑回归和 SVM 的凸优化根本不同。训练只能靠迭代的基于梯度的方法(如随机梯度下降)把代价降到很小,没有全局收敛保证,而且对参数初始值敏感。因此权重通常初始化为小随机数、偏置初始化为零或小正值;若把所有权重初始化为相同值,对称的单元会收到相同梯度而无法分化。尽管非凸,梯度仍能精确而高效地计算,靠的就是反向传播,所以训练流程与其他模型差别不大。权衡是:放弃凸性换来表示能力的巨大提升,但需要良好初始化、正则化与优化技巧来弥补收敛的不确定性。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第6章 深度前馈网络 · 查看原书依据

      这意味着神经网络的训练通常使用迭代的、基于梯度的优化,仅仅使得代价函数达到一个非常小的值;而不是像用于训练线性回归模型的线性方程求解器,或者用于训练逻辑回归或SVM的凸优化算法那样保证全局收敛。

    参考来源

    - 位置:《深度学习》第6章 深度前馈网络(源文件:extracted/深度学习/_epub-src/text/part0002.html) - 结论依据:原文对比了凸优化与神经网络非凸损失下的迭代梯度训练,强调对初值敏感,并给出权重小随机初始化、偏置为零或小正值的建议。 - 原始内容:这意味着神经网络的训练通常使用迭代的、基于梯度的优化,仅仅使得代价函数达到一个非常小的值;而不是像用于训练线性回归模型的线性方程求解器,或者用于训练逻辑回归或SVM的凸优化算法那样保证全局收敛。