知识卡片
BERT五大特殊标识符
BERT 在普通词块之外预设了五个特殊标识符。[CLS] 的末层表示被当作整段输入的句向量,分类任务通常取它;[SEP] 用来分隔串接的两个句子;[UNK] 兜底字典里没有的字;[PAD] 把不等长输入补齐以支持批量运算;[MASK] 只在预训练的掩码语言模型阶段出现。理解它们的作用,才能看懂后续 tokens_tensor 里那些 101、102、0 的来源。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第14章 用BERT实现中文语句分类 · 查看原书依据
除了一般的词块以外,BERT还有5个特殊标识符。 [CLS]:在做分类任务时其最后一层的表示会被视为整个输入序列的表示。 [SEP]:有两个句子的文本会被串接成一个输入序列,并在两句之间插入这个标识符作为分隔符。
参考来源
- 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第14章 用BERT实现中文语句分类(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter18_0001.xhtml)
- 结论依据:14.1.1 节逐个列出五个特殊标识符并说明用途,14.1.2 节的中文示例显示 [CLS] 被编码为 101、[MASK] 为 103。
- 原始内容:除了一般的词块以外,BERT还有5个特殊标识符。 [CLS]:在做分类任务时其最后一层的表示会被视为整个输入序列的表示。 [SEP]:有两个句子的文本会被串接成一个输入序列,并在两句之间插入这个标识符作为分隔符。