知识卡片

普通读书笔记卡 · 9863.h · 生成模型:Hunyuan

BERT输入三张量

理解等级:中级

BERT 接收的不是原始字符串,而是三种等长的 id 张量。tokens_tensor 是词块经 tokenizer 映射后的索引;segments_tensor 标记句子归属,第一句(含其 [SEP])为 0、第二句为 1;masks_tensor 界定自注意力的可见范围,1 表示该位置参与计算、0 表示填充需忽略。三者配合,模型才知道哪些字属于哪句话、哪些位置是真实输入。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第14章 用BERT实现中文语句分类 · 查看原书依据

      我们需要将原始文本转换成3种id张量。 tokens_tensor(标识符张量):代表识别每个标识符的索引值,用tokenizer转换即可。 segments_tensor(段张量):用来识别句子界限。第一句为0,第二句则为1。另外注意句子间的[SEP]为0。

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第14章 用BERT实现中文语句分类(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter18_0003.xhtml) - 结论依据:14.3.2 节对照图 14-2 解释 Token/Segment/Positional Embedding,并逐条定义 tokens、segments、masks 三种张量。 - 原始内容:我们需要将原始文本转换成3种id张量。 tokens_tensor(标识符张量):代表识别每个标识符的索引值,用tokenizer转换即可。 segments_tensor(段张量):用来识别句子界限。第一句为0,第二句则为1。另外注意句子间的[SEP]为0。