知识卡片

普通读书笔记卡 · 9863.b · 生成模型:Hunyuan

BERT五大特殊标识符

理解等级:初级

BERT 在普通词块之外预设了五个特殊标识符。[CLS] 的末层表示被当作整段输入的句向量,分类任务通常取它;[SEP] 用来分隔串接的两个句子;[UNK] 兜底字典里没有的字;[PAD] 把不等长输入补齐以支持批量运算;[MASK] 只在预训练的掩码语言模型阶段出现。理解它们的作用,才能看懂后续 tokens_tensor 里那些 101、102、0 的来源。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第14章 用BERT实现中文语句分类 · 查看原书依据

      除了一般的词块以外,BERT还有5个特殊标识符。 [CLS]:在做分类任务时其最后一层的表示会被视为整个输入序列的表示。 [SEP]:有两个句子的文本会被串接成一个输入序列,并在两句之间插入这个标识符作为分隔符。

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第14章 用BERT实现中文语句分类(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter18_0001.xhtml) - 结论依据:14.1.1 节逐个列出五个特殊标识符并说明用途,14.1.2 节的中文示例显示 [CLS] 被编码为 101、[MASK] 为 103。 - 原始内容:除了一般的词块以外,BERT还有5个特殊标识符。 [CLS]:在做分类任务时其最后一层的表示会被视为整个输入序列的表示。 [SEP]:有两个句子的文本会被串接成一个输入序列,并在两句之间插入这个标识符作为分隔符。