← 返回刚才阅读的位置

知识卡片

结构图卡 · 9557.i · 生成模型:DeepSeek-V4.1-Flash

微调全流程的四段接力

理解等级:中级

综合案例把微调拆成四段接力:数据准备(清洗、分割、增强)、层级冻结(冻结低层、放开最后两层与分类头)、超参数调整(学习率与权重衰减,配合调度器)、评估与推理优化(四项指标、动态量化、蒸馏)。四段之间有依赖:数据规模决定可训练范围,可训练范围决定冻结策略,冻结策略又决定学习率该给多大——可训练参数越少,往往越需要相对更大的步长。

原文的运行结果是 loss 从 0.6942 降到 0.5378,四项指标均为 1.00,量化后的模型仍能给出预测,蒸馏损失从 0.0145 降到 0.0083。这些数字同时出现,说明整条链路是通的;但指标饱和同时提示评估集过小,这是案例本身的局限,不是方法的结论。

把它当检查清单比当固定脚本更有用:换任务时逐段替换——换数据集只动第一段,换硬件只动并行配置,后两步的评估与压缩逻辑几乎可原样复用。各段的具体做法分别见 [[少样本数据的清洗与三分]]、[[冻结底层,解冻顶层]] 与 [[蒸馏用KL散度对齐分布]]。

结构图:

flowchart LR
  A[数据准备] --> B[层级冻结]
  B --> C[超参数调整]
  C --> D[微调训练]
  D --> E[指标评估]
  E --> F[量化与蒸馏]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 模型微调实战 · 查看原书依据

      在此案例中,将基于BERT模型进行微调,展示从数据准备、层级冻结、超参数调整到最终评估与推理优化的全流程。具体步骤如下:

    参考来源

    - 位置:《从零构建大模型:算法、训练与微调》第12章《模型微调实战》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter016_0005.xhtml) - 结论依据:原文开篇即列出该案例的四个步骤(数据准备、层级冻结、超参数调整、评估与推理优化),并给出对应的运行结果与三点分析。 - 原始内容:在此案例中,将基于BERT模型进行微调,展示从数据准备、层级冻结、超参数调整到最终评估与推理优化的全流程。具体步骤如下: