← 返回卡片

原书出处

深度学习详解

03 深度学习基础 3.4 学习率调度

核验版本的摘录快照 · 导入于 2026-11-21T12:46:32.557Z

除了学习率下降以外,还有另一种经典的学习率调度方式——预热. 预热的方法是让学习率先变大后变小,变到多大、变大的速度、变小的速度也是超参数. 残差网络[8]里面是有预热的,在残差网络里面,学习率先设置成 0.01,再设置成0.1,并且残差网络的论文还特别说明,一开始用0.1反而训练不好. 除了残差网络,BERT 和 Transformer 的训练也都使用了预热.

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter03.xhtml

EPUB SHA-256:35d2d4b7de742e0ce7756e7fb57c534014bf33cecdf0483a75e23cb7446cb7dc