← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9861.q · 生成模型:Hunyuan

动态学习率与Adam优化器

理解等级:高级

CustomSchedule实现Transformer经典的学习率曲线:warmup阶段用step乘warmup_steps^-1.5线性上升,之后用rsqrt(step)衰减,再乘rsqrt(d_model)缩放,两者取较小值。这种先升后降的调度能稳定深层模型早期训练,避免一开始用大学习率破坏随机初始参数。超参数为num_layers=4、d_model=128、dff=512、num_heads=8、dropout=0.1,词表大小各加2容纳BOS/EOS。优化器用Adam并改写默认参数为beta_1=0.9、beta_2=0.98、epsilon=1e-9以适配该调度。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第12章 用Transformer实现英译中(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter16_0005.xhtml) - 结论依据:原文给出arg1/arg2取最小值的调度公式,并用定制学习率构造Adam优化器。 - 原始内容:arg1 = tf.math.rsqrt(step) arg2 = step * (self.warmup_steps ** -1.5) return tf.math.rsqrt(self.d_model) * tf.math.minimum(arg1, arg2)