知识卡片
BERT整体架构
BERT只取Transformer的Encoder部分堆叠而成,用自注意力一次性看到输入序列的全部位置,因而天然并行且双向。它提供BASE与LARGE两档:前者12层、隐层768、12个头,后者24层、隐层1024、16个头,前馈层宽度一般为隐层的4倍。BERT在海量无标注语料上做自监督学习,学得的表示可直接作为下游任务的词嵌入特征。它本质是一个供迁移的模型:接上输出层可以微调,或固定参数当特征提取器亦可。每个Transformer块由多头自注意力、残差连接与LayerNorm、前馈网络组成。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第7章 从ELMo到BERT和GPT · 查看原书依据
BERT提供了简单和复杂两个模型,对应的超参数分别如下。 BERT BASE:L=12,H=768,A=12,参数总量110MB; BERT LARGE:L=24,H=1024,A=16,参数总量340MB。 其中L表示网络的层数(即图7-2中的数量Nx),H表示隐层大小
参考来源
- 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第7章 从ELMo到BERT和GPT(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter10_0002.xhtml)
- 结论依据:原文给出BERT采用Encoder、BASE/LARGE超参配置,以及自监督学习与下游迁移的定位,支撑上述架构描述。
- 原始内容:BERT提供了简单和复杂两个模型,对应的超参数分别如下。 BERT BASE:L=12,H=768,A=12,参数总量110MB; BERT LARGE:L=24,H=1024,A=16,参数总量340MB。 其中L表示网络的层数(即图7-2中的数量Nx),H表示隐层大小