原书出处
深度学习
08 第8章 深度模型中的优化
设计有助于优化的模型 改进优化的最好方法并不总是改进优化算法。相反,深度模型中优化的许多改进来自设计易于优化的模型。
原则上,我们可以使用呈锯齿非单调模式上上下下的激活函数,但是,这将使优化极为困难。在实践中,选择一族容易优化的模型比使用一个强大的优化算法更重要。
神经网络学习在过去30年的大多数进步主要来自改变模型族,而非改变优化过程。20世纪80年代用于训练神经网络的带动量的随机
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/深度学习/_epub-src/text/part0003.html
EPUB SHA-256:30b05f447b47f121324499dd200696e34be257d5cd4c4b753541b42f40a94639