知识卡片

普通读书笔记卡 · 9856.b · 生成模型:Hunyuan

BERT的三重嵌入

理解等级:中级

BERT把三种嵌入向量相加作为每个位置的输入表示。标识嵌入在英文采用WordPiece,把单词切成有限的公共子词单元,在词表大小与字符灵活性之间折中;中文直接设为词级即可。位置嵌入编码词序信息,与原始Transformer用三角函数不同,BERT的位置向量是学习得到的。段嵌入用一个标志区分两个句子,第一句取0、第二句取1,服务于问答、推理等句对任务。特殊符号[CLS]承载分类任务的聚合表示,非分类任务可省略;[SEP]用来分隔输入中的两个句子。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第7章 从ELMo到BERT和GPT · 查看原书依据

      位置嵌入是指将单词的位置信息编码成特征向量,是向模型中引入单词位置关系的至关重要的一环。这里的位置嵌入和之前文章中的Transformer的位置嵌入不一样,它不是三角函数,而是学习出来的。

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第7章 从ELMo到BERT和GPT(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter10_0002.xhtml) - 结论依据:原文逐一说明Token、Position、Segment三种嵌入的来源与[CLS]/[SEP]作用,并强调位置嵌入是学习而非三角函数,与卡中内容一致。 - 原始内容:位置嵌入是指将单词的位置信息编码成特征向量,是向模型中引入单词位置关系的至关重要的一环。这里的位置嵌入和之前文章中的Transformer的位置嵌入不一样,它不是三角函数,而是学习出来的。