← 返回卡片

原书出处

智能算法导论

193 2 0 . 2 . 3 深 度 模 型 优 化

核验版本的摘录快照 · 导入于 2026-10-23T08:14:02.896Z

在保证 且 时,SGD才能收敛。实践中通常使用线性衰减学习率直到第τ次迭代: 其中。在第τ次迭代之后通常使ε保持常数。

SGD的学习率选取是很重要又很困难的一点,学习率太小可能会导致收敛速度非常缓慢,而学习率太大会阻碍收敛,容易引起权重在最优解附近震荡,甚至可能引起发散。学习率的选取并没有一个标准的方法,需要针对不同的问题通过实验和误差来进行选取。

SGD的一大优点是其更新的速度不依赖于训练样本数目的大小,即使在非常庞大的训练样本上,它也能收敛。 2. 牛顿法 牛顿

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/智能算法导论/_epub-src/EPUB/xhtml/chapter20_0004.xhtml

EPUB SHA-256:18e2691ea1badb55bab48f10fe7172f9d6a95bc5207bb2e234686cbbaff3641d