知识卡片
动态学习率与Adam优化器
CustomSchedule实现Transformer经典的学习率曲线:warmup阶段用step乘warmup_steps^-1.5线性上升,之后用rsqrt(step)衰减,再乘rsqrt(d_model)缩放,两者取较小值。这种先升后降的调度能稳定深层模型早期训练,避免一开始用大学习率破坏随机初始参数。超参数为num_layers=4、d_model=128、dff=512、num_heads=8、dropout=0.1,词表大小各加2容纳BOS/EOS。优化器用Adam并改写默认参数为beta_1=0.9、beta_2=0.98、epsilon=1e-9以适配该调度。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第12章 用Transformer实现英译中 · 查看原书依据
arg1 = tf.math.rsqrt(step) arg2 = step * (self.warmup_steps ** -1.5) return tf.math.rsqrt(self.d_model) * tf.math.minimum(arg1, arg2)
参考来源
- 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第12章 用Transformer实现英译中(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter16_0005.xhtml)
- 结论依据:原文给出arg1/arg2取最小值的调度公式,并用定制学习率构造Adam优化器。
- 原始内容:arg1 = tf.math.rsqrt(step) arg2 = step * (self.warmup_steps ** -1.5) return tf.math.rsqrt(self.d_model) * tf.math.minimum(arg1, arg2)