← 返回卡片

原书出处

深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)

14 第14章 用BERT实现中文语句分类

核验版本的摘录快照 · 导入于 2026-11-19T04:48:36.604Z

sformer构架中出现的位置编码如出一辙。 图14-2 BERT模型的输入数据 2)第二条分隔线之下的信息分析如下。

我们需要将原始文本转换成3种id张量。 tokens_tensor(标识符张量):代表识别每个标识符的索引值,用tokenizer转换即可。 segments_tensor(段张量):用来识别句子界限。第一句为0,第二句则为1。另外注意句子间的[SEP]为0。

masks_tensor(掩码张量):用来界定自注意力机制范围。1表示让BERT关注该位置,0则代表是填充,无须关注。

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter18_0003.xhtml

EPUB SHA-256:0056cad2f11cb1d60ead5054060bd6d41fef87dd049656db310bdc789c0ec7da