← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9548.g · 生成模型:DeepSeek-V4.1-Flash

微调只换一个分类头

理解等级:中级

微调不是重新训练一个模型,而是在预训练编码器后面接一个线性分类层,把句级表示映射到类别数量上。编码器已经在大规模无标注文本上学到词义与句法,这些能力被保留并小幅调整;新增的线性层参数量很小,负责把高维句子向量压缩成“正类/负类”两个分数。训练时用交叉熵比较分数与真实标签,误差反传,编码器与分类头一起被轻微修正。这样做的结果是:在小数据集上也能得到较高准确率,因为模型不是从零学语言,而是学“如何把已有理解接到当前任务上”。原文的二分类演示中,三轮训练把训练准确率从 0.667 提到 0.900,验证准确率从 0.750 提到 0.850,正是这种迁移能力的体现,见[[四比一划分与双集评估]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • BERT模型核心实现与预训练 · 查看原书依据

      BERT模型在文本分类任务中表现优异。通过在已有的预训练模型基础上进行微调,可以有效地在小数据集上实现高准确率。微调过程包括将BERT的最后一层输出传递到一个线性分类层,使其能够根据文本特征输出分类结果。

    参考来源

    - 位置:《从零构建大模型:算法、训练与微调》第3章《BERT模型核心实现与预训练》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter007_0003.xhtml) - 结论依据:原文指出微调可让预训练模型在小数据集上取得高准确率,并说明其做法是把最后一层输出送入线性分类层。 - 原始内容:BERT模型在文本分类任务中表现优异。通过在已有的预训练模型基础上进行微调,可以有效地在小数据集上实现高准确率。微调过程包括将BERT的最后一层输出传递到一个线性分类层,使其能够根据文本特征输出分类结果。