知识卡片

普通读书笔记卡 · 9546.b · 生成模型:DeepSeek-V4.1-Flash

分词器把句子切成索引序列

理解等级:初级

神经网络只能处理数字,所以文本进入模型前要先过一道分词器。分词器做三件事:把句子切分成词或子词标记,把每个标记查表映射成词汇表里的整数索引,再把索引序列交给后续的嵌入层换成稠密向量。切分粒度的选择直接决定词汇表大小与序列长度之间的平衡:按词切,词表会膨胀且遇到未登录词无从处理;切成更细的子词单元,词表可控、罕见词也能由常见片段拼出,代价是同样一句话会变成更长的序列。

在书中的实现里,分词器的构建过程是先清洗、分割文本,再按词频统计建立词汇表,最后用 text_to_sequence 把输入文本转成索引序列;示例把”the quick brown fox”转成了一串整数。这一步的输出是离散索引,本身不带任何语义,语义要等 [[嵌入层把词索引映射为稠密向量]] 才被赋予。

需要注意索引只是查表地址,序号大小没有含义,第 5 号词并不比第 3 号词”更大”。任何把索引当数值参与运算的做法都是错的,这也是必须紧接着接一个嵌入层的原因。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • Transformer模型基础 · 查看原书依据

      分词器是将原始文本转换为模型可接收的输入向量的工具。分词器的工作包括将句子分解成词或子词标记,并将其映射到词汇表中的索引,随后通过嵌入层将这些索引转换为稠密向量,从而保留语义信息,供模型处理。

    参考来源

    - 位置:《从零构建大模型:算法、训练与微调》第1章《Transformer模型基础》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter005_0002.xhtml) - 结论依据:原文说明分词器"将句子分解成词或子词标记,并将其映射到词汇表中的索引",并给出清洗、分割、按词频建表、text_to_sequence 的执行顺序。 - 原始内容:分词器是将原始文本转换为模型可接收的输入向量的工具。分词器的工作包括将句子分解成词或子词标记,并将其映射到词汇表中的索引,随后通过嵌入层将这些索引转换为稠密向量,从而保留语义信息,供模型处理。