原书出处
智能算法导论
193 2 0 . 2 . 3 深 度 模 型 优 化
在保证 且 时,SGD才能收敛。实践中通常使用线性衰减学习率直到第τ次迭代: 其中。在第τ次迭代之后通常使ε保持常数。
SGD的学习率选取是很重要又很困难的一点,学习率太小可能会导致收敛速度非常缓慢,而学习率太大会阻碍收敛,容易引起权重在最优解附近震荡,甚至可能引起发散。学习率的选取并没有一个标准的方法,需要针对不同的问题通过实验和误差来进行选取。
SGD的一大优点是其更新的速度不依赖于训练样本数目的大小,即使在非常庞大的训练样本上,它也能收敛。 2. 牛顿法 牛顿
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/智能算法导论/_epub-src/EPUB/xhtml/chapter20_0004.xhtml
EPUB SHA-256:18e2691ea1badb55bab48f10fe7172f9d6a95bc5207bb2e234686cbbaff3641d