← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9557.d · 生成模型:DeepSeek-V4.1-Flash

微调学习率为何取2e-5

理解等级:中级

微调不是从头训练,参数已经在预训练中落到一个较好处,此时用大学习率会把好不容易学到的表示冲掉。原文把学习率描述为参数更新步幅的控制因子:过大可能导致模型无法收敛,过小则训练过慢;示例取 2e-5,并配权重衰减 0.01。

这个量级的道理可以理解为”信任域”:预训练权重已接近可用解,微调只需在其附近做小步调整,步长过大就会跳出这个区域。经验上,层数越深、数据越少,越应该保守;数据量上来之后,可以适当放大。

反过来看也有例外:如果骨干被冻结、只训练随机初始化的分类头,给新层同样小的学习率会学得极慢,实践中常给新层较大学习率、给骨干较小学习率。所以 2e-5 不是普适常数,而是 BERT 类模型在分类任务上的常见起点,仍需按数据规模与 batch 大小做实验。

原文的输出显示 loss 从 0.6243 降到 0.4821,配合 [[调度器让学习率逐步下降]] 使用,才构成完整的步长策略。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 模型微调实战 · 查看原书依据

      (1)学习率调整:学习率是模型参数更新步幅的控制因子。较大的学习率可能导致模型无法收敛,较小的学习率则可能导致训练过慢。通常使用调度器逐步减小学习率,以平滑模型的收敛过程。

    参考来源

    - 位置:《从零构建大模型:算法、训练与微调》第12章《模型微调实战》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter016_0003.xhtml) - 结论依据:原文第(1)条解释学习率是更新步幅的控制因子及其过大过小的后果,代码解析中给出学习率 2e-5、权重衰减 0.01 的设置。 - 原始内容:(1)学习率调整:学习率是模型参数更新步幅的控制因子。较大的学习率可能导致模型无法收敛,较小的学习率则可能导致训练过慢。通常使用调度器逐步减小学习率,以平滑模型的收敛过程。