← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9668.b · 生成模型:DeepSeek-V4.1-Flash

微调I与微调II的取舍

理解等级:中级

微调I:在冻结的主干上添加一个或多个输出层,只更新这些新层的参数,梯度不必穿透整个网络,显存与吞吐压力都小。微调II:同样加输出头,但反向传播穿透所有层,更新全部参数。

维度 微调I 微调II
可训练参数 仅输出层 全部
反向传播范围 末端 全网
成本 低 最高
领域适配能力 弱 强
遗忘风险 几乎无 有

取舍逻辑:任务与预训练分布接近时,微调I 常常够用,多花的算力买不到相应精度;领域差异大或数据专业时,只有让中间层也调整才能提升,此时微调II 值得。代价是过拟合与灾难性遗忘——通常要用更小学习率、更少轮次,或混入通用数据来缓解。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大模型技术30讲》第18讲 使用和微调预训练Transformer(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0024.xhtml) - 结论依据:18.1 节:区分微调I(只更新输出层、核心冻结、成本低)与微调II(更新所有层、成本最高、在专业领域数据上通常更好)。 - 原始内容:微调I类似于前面介绍的基于特征的方法,但它为大模型本身添加了一个或多个输出层。大模型的核心部分保持“冻结”状态