知识卡片

普通读书笔记卡 · 9856.e · 生成模型:Hunyuan

BERT微调与特征提取

理解等级:中级

用BERT完成下游任务有两条路径。微调是在BERT之上加一层输出层,用任务标注数据更新参数:分类任务直接取第一个标识符[CLS]的最后隐状态C,经权重W与Softmax得到标签概率;句对分类、单句分类、问答、命名实体识别等只需按需改造输入与输出层。特征提取则固定预训练BERT,把各层输出的上下文词向量喂给已有模型;不同层对应不同语义层次,类似卷积网络浅层到深层的特征差异。微调依赖大量标注语料,特征提取更轻量但表示不再随任务调整。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第7章 从ELMo到BERT和GPT · 查看原书依据

      在完成BERT对下游的分类任务时,只需要在BERT的基础上添加一个输出层便可以完成对特定任务的微调(fine-tuning)。对分类问题可直接取第一个标识符(Token)的最后输出(即final hidden state,最后隐藏含状态)C∈RH,加一层权重W后使用Softmax来预测标签的概率

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第7章 从ELMo到BERT和GPT(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter10_0002.xhtml) - 结论依据:原文给出微调的输出层做法和四类下游任务,以及特征提取做法与不同层输出含义,是本卡两种用法的依据。 - 原始内容:在完成BERT对下游的分类任务时,只需要在BERT的基础上添加一个输出层便可以完成对特定任务的微调(fine-tuning)。对分类问题可直接取第一个标识符(Token)的最后输出(即final hidden state,最后隐藏含状态)C∈RH,加一层权重W后使用Softmax来预测标签的概率