知识卡片
PyTorch搭建BERT
用PyTorch搭建BERT只需两个核心类再加组合。BERTEmbedding把TokenEmbedding、PositionalEmbedding、SegmentEmbedding三者逐元素相加再过Dropout,得到输入向量。TransformerBlock内部串联多头自注意力与PositionwiseFeedForward,各带SublayerConnection做残差归一化。BERT类维护嵌入层与由ModuleList堆叠的n_layers个TransformerBlock,前向时用(x>0)生成填充位置的注意力遮掩,避免模型关注padding符号,逐块计算后返回隐状态序列。这种划分让层数、头数、隐层宽度都可配置。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第7章 从ELMo到BERT和GPT · 查看原书依据
使用PyTorch实现BERT的核心模块主要有2个,第1个是生成BERT输入的BERT-Embedding类,第2个是TransformerBlock类。将这两个模块组合,即BERT模型的模块bert.py。
参考来源
- 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第7章 从ELMo到BERT和GPT(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter10_0003.xhtml)
- 结论依据:原文明确指出BERTEmbedding与TransformerBlock两个核心模块并给出组合代码与填充遮掩,支撑本卡实现要点。
- 原始内容:使用PyTorch实现BERT的核心模块主要有2个,第1个是生成BERT输入的BERT-Embedding类,第2个是TransformerBlock类。将这两个模块组合,即BERT模型的模块bert.py。