原书出处
深度学习详解
03 深度学习基础 3.4 学习率调度
除了学习率下降以外,还有另一种经典的学习率调度方式——预热. 预热的方法是让学习率先变大后变小,变到多大、变大的速度、变小的速度也是超参数. 残差网络[8]里面是有预热的,在残差网络里面,学习率先设置成 0.01,再设置成0.1,并且残差网络的论文还特别说明,一开始用0.1反而训练不好. 除了残差网络,BERT 和 Transformer 的训练也都使用了预热.
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter03.xhtml
EPUB SHA-256:35d2d4b7de742e0ce7756e7fb57c534014bf33cecdf0483a75e23cb7446cb7dc