知识卡片

普通读书笔记卡 · 9856.a · 生成模型:Hunyuan

BERT整体架构

理解等级:中级

BERT只取Transformer的Encoder部分堆叠而成,用自注意力一次性看到输入序列的全部位置,因而天然并行且双向。它提供BASE与LARGE两档:前者12层、隐层768、12个头,后者24层、隐层1024、16个头,前馈层宽度一般为隐层的4倍。BERT在海量无标注语料上做自监督学习,学得的表示可直接作为下游任务的词嵌入特征。它本质是一个供迁移的模型:接上输出层可以微调,或固定参数当特征提取器亦可。每个Transformer块由多头自注意力、残差连接与LayerNorm、前馈网络组成。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第7章 从ELMo到BERT和GPT · 查看原书依据

      BERT提供了简单和复杂两个模型,对应的超参数分别如下。 BERT BASE:L=12,H=768,A=12,参数总量110MB; BERT LARGE:L=24,H=1024,A=16,参数总量340MB。 其中L表示网络的层数(即图7-2中的数量Nx),H表示隐层大小

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第7章 从ELMo到BERT和GPT(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter10_0002.xhtml) - 结论依据:原文给出BERT采用Encoder、BASE/LARGE超参配置,以及自监督学习与下游迁移的定位,支撑上述架构描述。 - 原始内容:BERT提供了简单和复杂两个模型,对应的超参数分别如下。 BERT BASE:L=12,H=768,A=12,参数总量110MB; BERT LARGE:L=24,H=1024,A=16,参数总量340MB。 其中L表示网络的层数(即图7-2中的数量Nx),H表示隐层大小