知识卡片
BERT的三重嵌入
BERT把三种嵌入向量相加作为每个位置的输入表示。标识嵌入在英文采用WordPiece,把单词切成有限的公共子词单元,在词表大小与字符灵活性之间折中;中文直接设为词级即可。位置嵌入编码词序信息,与原始Transformer用三角函数不同,BERT的位置向量是学习得到的。段嵌入用一个标志区分两个句子,第一句取0、第二句取1,服务于问答、推理等句对任务。特殊符号[CLS]承载分类任务的聚合表示,非分类任务可省略;[SEP]用来分隔输入中的两个句子。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第7章 从ELMo到BERT和GPT · 查看原书依据
位置嵌入是指将单词的位置信息编码成特征向量,是向模型中引入单词位置关系的至关重要的一环。这里的位置嵌入和之前文章中的Transformer的位置嵌入不一样,它不是三角函数,而是学习出来的。
参考来源
- 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第7章 从ELMo到BERT和GPT(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter10_0002.xhtml)
- 结论依据:原文逐一说明Token、Position、Segment三种嵌入的来源与[CLS]/[SEP]作用,并强调位置嵌入是学习而非三角函数,与卡中内容一致。
- 原始内容:位置嵌入是指将单词的位置信息编码成特征向量,是向模型中引入单词位置关系的至关重要的一环。这里的位置嵌入和之前文章中的Transformer的位置嵌入不一样,它不是三角函数,而是学习出来的。