知识卡片

结构图卡 · 9863.e · 生成模型:Hunyuan

BERT文本分类流程

理解等级:中级

用预训练 BERT 做下游分类可拆成五个环节:准备原始文本、转成 BERT 兼容的三种张量、在 BERT 之上接新层构成任务模型、训练、对新样本推论。其中真正体现 BERT 特性的是“格式转换”和“加层”两步,其余与常规机器学习一致。本章把这条流水线落在假新闻三分类任务上,形成一个可复用模板。

结构图:

classDiagram
    class RawText {
        +prepareCorpus()
        +cleanAndFilter()
    }
    class BertInputFormat {
        +tokensTensor
        +segmentsTensor
        +masksTensor
        +paddingWithZero()
    }
    class DownstreamModel {
        +bertForSequenceClassification
        +dropout
        +classifierLinear
    }
    class Training {
        +AdamOptimizer
        +forwardBackward()
        +computeAccuracy()
    }
    class Inference {
        +getPredictions()
        +mapLabelToText()
    }
    RawText --> BertInputFormat : convert
    BertInputFormat --> DownstreamModel : feed
    DownstreamModel --> Training : fineTune
    Training --> Inference : trainedModel
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第14章 用BERT实现中文语句分类 · 查看原书依据

      用BERT预训练模型微调下游任务有5个步骤: 1)准备原始文本数据; 2)将原始文本转换成BERT兼容的输入格式; 3)在BERT之上加入新Layer生成下游任务模型; 4)训练该下游任务模型; 5)对新样本做推论。

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第14章 用BERT实现中文语句分类(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter18_0003.xhtml) - 结论依据:14.3 节开头明确列出微调的 5 个步骤,后文各小节依次对应数据、输入格式、模型、训练与测试。 - 原始内容:用BERT预训练模型微调下游任务有5个步骤: 1)准备原始文本数据; 2)将原始文本转换成BERT兼容的输入格式; 3)在BERT之上加入新Layer生成下游任务模型; 4)训练该下游任务模型; 5)对新样本做推论。