← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9863.k · 生成模型:Hunyuan

BERT分类微调模型

理解等级:中级

HuggingFace 为下游任务预置了微调模型,分类任务可直接用 bertForSequenceClassification。它在预训练 BERT 之上只加一个 dropout 和一个把 768 维映射到类别数的全连接层,输出 logits;假新闻成对分类对应图 14-3 左下角的句子对分类形态。两阶段迁移学习的意义在于:无需从零设计复杂 NLP 模型,站在预训练模型上加一层即可。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第14章 用BERT实现中文语句分类 · 查看原书依据

      我们的分类模型model也就只是在BERT上加入dropout层以及简单的用于分类的全连接层,即可输出用来预测类别的logits。这就是两阶段迁移学习强大的地方:你不用再自己依照不同NLP任务从零设计非常复杂的模型,只需要站在巨人肩膀上,做一点点事情就好了。

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第14章 用BERT实现中文语句分类(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter18_0003.xhtml) - 结论依据:14.3.7 与 14.3.8 节说明选择该模型的理由,并用 named_children 展示 embeddings/encoder/pooler/dropout/classifier 的结构。 - 原始内容:我们的分类模型model也就只是在BERT上加入dropout层以及简单的用于分类的全连接层,即可输出用来预测类别的logits。这就是两阶段迁移学习强大的地方:你不用再自己依照不同NLP任务从零设计非常复杂的模型,只需要站在巨人肩膀上,做一点点事情就好了。