← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9556.b · 生成模型:DeepSeek-V4.1-Flash

子词分词的两条路线

理解等级:中级

分词器要把字符串变成整数 ID 序列,BERT 与 GPT-2 走的是两条子词路线。BERT 用 WordPiece,把文本分解为子词单元,未登录词退回到更小的片段,词表规模控制在数万级;GPT-2 用基于 BPE 的方法,返回带特殊符号的子词分块,符号用来标识词边界与空格位置。两者共同的目标是:用有限的词表覆盖开放词汇,既不把整词当原子单位,也不退化到单字符。

编码结果不止 input_ids。原文强调编码后的 ID 表示每个分词的索引,同时返回 Attention Mask 用于掩码填充位置:同一批样本长度不齐时先补齐到统一长度,mask 用不同取值标出哪些位置是真实 token、哪些是补出来的,让模型在计算注意力时忽略填充部分。没有这层掩码,补齐的空白会被当作真实内容参与计算。

因此分词器必须与模型配套:词表、特殊符号、ID 映射都是预训练时定死的,换一套分词器等于换了一门输入语言,权重不再对应。这也是加载模型时要连带加载同名 tokenizer 的原因。

分词是 [[文本预处理的四道工序]] 的出口,也是 [[一进程一卡的数据并行]] 之前必须完成的离线工作——编码后的定长张量才好组 batch。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 模型训练实战 · 查看原书依据

      (1)BERTTokenizer:BERT使用WordPiece分词法,将文本分解为子词单元并返回分词结果。编码后的ID表示每个分词的索引,同时Attention Mask用于掩码填充位置。

    参考来源

    - 位置:《从零构建大模型:算法、训练与微调》第11章《模型训练实战》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter015_0001.xhtml) - 结论依据:原文分别说明 BERTTokenizer 用 WordPiece 分解子词、GPT2Tokenizer 用 BPE 返回子词分块,并指出二者都用 Attention Mask 掩码填充位置。 - 原始内容:(1)BERTTokenizer:BERT使用WordPiece分词法,将文本分解为子词单元并返回分词结果。编码后的ID表示每个分词的索引,同时Attention Mask用于掩码填充位置。