← 返回卡片

原书出处

深度学习

08 第8章 深度模型中的优化

核验版本的摘录快照 · 导入于 2026-11-19T07:27:03.630Z

设计有助于优化的模型 改进优化的最好方法并不总是改进优化算法。相反,深度模型中优化的许多改进来自设计易于优化的模型。

原则上,我们可以使用呈锯齿非单调模式上上下下的激活函数,但是,这将使优化极为困难。在实践中,选择一族容易优化的模型比使用一个强大的优化算法更重要。

神经网络学习在过去30年的大多数进步主要来自改变模型族,而非改变优化过程。20世纪80年代用于训练神经网络的带动量的随机

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/深度学习/_epub-src/text/part0003.html

EPUB SHA-256:30b05f447b47f121324499dd200696e34be257d5cd4c4b753541b42f40a94639