知识卡片
微调学习率为何取2e-5
微调不是从头训练,参数已经在预训练中落到一个较好处,此时用大学习率会把好不容易学到的表示冲掉。原文把学习率描述为参数更新步幅的控制因子:过大可能导致模型无法收敛,过小则训练过慢;示例取 2e-5,并配权重衰减 0.01。
这个量级的道理可以理解为”信任域”:预训练权重已接近可用解,微调只需在其附近做小步调整,步长过大就会跳出这个区域。经验上,层数越深、数据越少,越应该保守;数据量上来之后,可以适当放大。
反过来看也有例外:如果骨干被冻结、只训练随机初始化的分类头,给新层同样小的学习率会学得极慢,实践中常给新层较大学习率、给骨干较小学习率。所以 2e-5 不是普适常数,而是 BERT 类模型在分类任务上的常见起点,仍需按数据规模与 batch 大小做实验。
原文的输出显示 loss 从 0.6243 降到 0.4821,配合 [[调度器让学习率逐步下降]] 使用,才构成完整的步长策略。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 模型微调实战 · 查看原书依据
(1)学习率调整:学习率是模型参数更新步幅的控制因子。较大的学习率可能导致模型无法收敛,较小的学习率则可能导致训练过慢。通常使用调度器逐步减小学习率,以平滑模型的收敛过程。
参考来源
- 位置:《从零构建大模型:算法、训练与微调》第12章《模型微调实战》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter016_0003.xhtml)
- 结论依据:原文第(1)条解释学习率是更新步幅的控制因子及其过大过小的后果,代码解析中给出学习率 2e-5、权重衰减 0.01 的设置。
- 原始内容:(1)学习率调整:学习率是模型参数更新步幅的控制因子。较大的学习率可能导致模型无法收敛,较小的学习率则可能导致训练过慢。通常使用调度器逐步减小学习率,以平滑模型的收敛过程。