知识卡片
子词分词的两条路线
分词器要把字符串变成整数 ID 序列,BERT 与 GPT-2 走的是两条子词路线。BERT 用 WordPiece,把文本分解为子词单元,未登录词退回到更小的片段,词表规模控制在数万级;GPT-2 用基于 BPE 的方法,返回带特殊符号的子词分块,符号用来标识词边界与空格位置。两者共同的目标是:用有限的词表覆盖开放词汇,既不把整词当原子单位,也不退化到单字符。
编码结果不止 input_ids。原文强调编码后的 ID 表示每个分词的索引,同时返回 Attention Mask 用于掩码填充位置:同一批样本长度不齐时先补齐到统一长度,mask 用不同取值标出哪些位置是真实 token、哪些是补出来的,让模型在计算注意力时忽略填充部分。没有这层掩码,补齐的空白会被当作真实内容参与计算。
因此分词器必须与模型配套:词表、特殊符号、ID 映射都是预训练时定死的,换一套分词器等于换了一门输入语言,权重不再对应。这也是加载模型时要连带加载同名 tokenizer 的原因。
分词是 [[文本预处理的四道工序]] 的出口,也是 [[一进程一卡的数据并行]] 之前必须完成的离线工作——编码后的定长张量才好组 batch。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 模型训练实战 · 查看原书依据
(1)BERTTokenizer:BERT使用WordPiece分词法,将文本分解为子词单元并返回分词结果。编码后的ID表示每个分词的索引,同时Attention Mask用于掩码填充位置。
参考来源
- 位置:《从零构建大模型:算法、训练与微调》第11章《模型训练实战》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter015_0001.xhtml)
- 结论依据:原文分别说明 BERTTokenizer 用 WordPiece 分解子词、GPT2Tokenizer 用 BPE 返回子词分块,并指出二者都用 Attention Mask 掩码填充位置。
- 原始内容:(1)BERTTokenizer:BERT使用WordPiece分词法,将文本分解为子词单元并返回分词结果。编码后的ID表示每个分词的索引,同时Attention Mask用于掩码填充位置。