← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9856.f · 生成模型:Hunyuan

PyTorch搭建BERT

理解等级:中级

用PyTorch搭建BERT只需两个核心类再加组合。BERTEmbedding把TokenEmbedding、PositionalEmbedding、SegmentEmbedding三者逐元素相加再过Dropout,得到输入向量。TransformerBlock内部串联多头自注意力与PositionwiseFeedForward,各带SublayerConnection做残差归一化。BERT类维护嵌入层与由ModuleList堆叠的n_layers个TransformerBlock,前向时用(x>0)生成填充位置的注意力遮掩,避免模型关注padding符号,逐块计算后返回隐状态序列。这种划分让层数、头数、隐层宽度都可配置。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第7章 从ELMo到BERT和GPT(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter10_0003.xhtml) - 结论依据:原文明确指出BERTEmbedding与TransformerBlock两个核心模块并给出组合代码与填充遮掩,支撑本卡实现要点。 - 原始内容:使用PyTorch实现BERT的核心模块主要有2个,第1个是生成BERT输入的BERT-Embedding类,第2个是TransformerBlock类。将这两个模块组合,即BERT模型的模块bert.py。