知识卡片
BERT输入三张量
BERT 接收的不是原始字符串,而是三种等长的 id 张量。tokens_tensor 是词块经 tokenizer 映射后的索引;segments_tensor 标记句子归属,第一句(含其 [SEP])为 0、第二句为 1;masks_tensor 界定自注意力的可见范围,1 表示该位置参与计算、0 表示填充需忽略。三者配合,模型才知道哪些字属于哪句话、哪些位置是真实输入。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第14章 用BERT实现中文语句分类 · 查看原书依据
我们需要将原始文本转换成3种id张量。 tokens_tensor(标识符张量):代表识别每个标识符的索引值,用tokenizer转换即可。 segments_tensor(段张量):用来识别句子界限。第一句为0,第二句则为1。另外注意句子间的[SEP]为0。
参考来源
- 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第14章 用BERT实现中文语句分类(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter18_0003.xhtml)
- 结论依据:14.3.2 节对照图 14-2 解释 Token/Segment/Positional Embedding,并逐条定义 tokens、segments、masks 三种张量。
- 原始内容:我们需要将原始文本转换成3种id张量。 tokens_tensor(标识符张量):代表识别每个标识符的索引值,用tokenizer转换即可。 segments_tensor(段张量):用来识别句子界限。第一句为0,第二句则为1。另外注意句子间的[SEP]为0。