知识卡片

结构图卡 · 9557.b · 生成模型:DeepSeek-V4.1-Flash

冻结底层,解冻顶层

理解等级:中级

BERT 的编码器各层学到的特征有分工:低层偏词法与局部搭配,高层偏语义与任务相关的抽象。层级冻结利用这一分工,把低层参数固定住,只让靠近输出的层和分类头参与更新。原文的做法很明确:先用 requires_grad=False 冻结全部参数,再选择性解冻最后两层(layer.10、layer.11)与 classifier,并把被解冻的参数名逐条打印出来供核对。

收益是双向的。反向传播不必为冻结层计算与存储梯度,显存占用与单步时间都下降;可训练参数变少,小数据上的过拟合风险也降低。代价同样清楚:低层无法适应新领域,若目标任务的语言分布与预训练语料差距大,冻结过多会压住模型上限。

折中办法是逐层解冻:先只训分类头,再放开最高一层,观察验证集指标后逐步向下。原文强调的正是这个平衡——冻结低层打基础,解冻高层抓细节。可训练参数变少之后,学习率的取法也要跟着调整,见 [[微调学习率为何取2e-5]]。

结构图:

flowchart TD
  A[BERT编码器十二层] --> B[冻结全部参数]
  B --> C[解冻第十与十一层]
  C --> D[解冻分类层]
  D --> E[仅可训练参数进入AdamW]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 模型微调实战 · 查看原书依据

      在微调过程中,逐层冻结或解冻模型可以有效减少显存的消耗和训练时间,尤其适用于大型模型的优化。此策略允许在早期阶段冻结低层,使模型在固定的特征基础上进行调整;逐步解冻更高层则能更好地捕捉细节信息,适应特定任务。

    参考来源

    - 位置:《从零构建大模型:算法、训练与微调》第12章《模型微调实战》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter016_0002.xhtml) - 结论依据:原文说明冻结低层、逐步解冻高层可减少显存与训练时间,并在代码解析中给出"冻结全部、仅解冻最后两层和分类层"的步骤。 - 原始内容:在微调过程中,逐层冻结或解冻模型可以有效减少显存的消耗和训练时间,尤其适用于大型模型的优化。此策略允许在早期阶段冻结低层,使模型在固定的特征基础上进行调整;逐步解冻更高层则能更好地捕捉细节信息,适应特定任务。