知识卡片

普通读书笔记卡 · 9547.i · 生成模型:DeepSeek-V4.1-Flash

学习率调度让困惑度平稳下降

理解等级:中级

微调时,学习率决定每次参数更新的步长:太大会让损失震荡甚至梯度爆炸,太小则收敛缓慢、迟迟降不下来。固定学习率很难同时满足两个阶段的需求——训练初期希望步子大一些快速靠近较优区域,后期则希望步子小一些在附近精细搜索,避免在最优解附近来回跳。

书中的做法是配合调度器动态调整:使用 StepLR,每 10 个 epoch 把学习率衰减为原来的 0.1 倍。于是前 10 轮用初始学习率快速下降,之后步长骤减,参数只在局部微调。示例中困惑度从第 1 轮的 98.2345 逐步降到第 15 轮的 25.6789,后期曲线趋缓,正是”大步找方向、小步做精修”的表现;原文把这一效果描述为”减少震荡,提高收敛效率”。

判断调度是否有效,看的是 [[困惑度是交叉熵损失取指数]] 随轮次的变化,而不是单轮损失。若困惑度长期不降,可能是学习率过小或数据有问题;若剧烈跳动,则可能是学习率过大。调度器的参数(衰减周期与衰减比例)需要与总训练轮次匹配,周期设得过长等于没有衰减,设得过短则模型过早进入微调状态、探索不足。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《从零构建大模型:算法、训练与微调》第2章《GPT模型文本生成核心原理与实现》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter006_0003.xhtml) - 结论依据:原文写明"使用StepLR调度器,每10个epoch后将学习率衰减至原来的0.1倍",并解释其作用是"减少震荡,提高收敛效率",配合逐轮困惑度输出观察收敛。 - 原始内容:微调过程:设置优化器和学习率调度器,以动态调整学习率。使用StepLR调度器,每10个epoch后将学习率衰减至原来的0.1倍,帮助模型逐步优化参数,减少震荡,提高收敛效率。