← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9551.h · 生成模型:DeepSeek-V4.1-Flash

BPE的迭代合并机制

理解等级:高级

BPE 从字符起步构建子词词表,核心是“统计—合并—再统计”的循环。

先把文本按字符切开,每个字符作为一个初始单元,用计数器统计各单元出现次数;接着统计相邻单元组成的字对频率,把频率最高的一对合并成一个新单元,替换进词表;然后重新统计,进入下一轮。迭代若干次后,常见词会整体成为一个单元,罕见词则被拆成若干熟悉的子词片段。

这样得到的词表规模由合并次数控制,不像词级词表那样因生僻词膨胀,也不像字符级那样让序列过长。它解决的核心问题是未登录词:模型不必为每个新词准备独立向量,靠子词组合仍能表示。正则替换时要确保只匹配独立的字对,否则会把其他位置的相同字符串一起改掉。

中文按字符起步时,合并会跨过词边界,产出的是高频字串而非严格词语,这与英文的形态学合并不完全相同。分词之后才进入向量化,见 [[词向量生成与PCA降维]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 数据处理与数据增强 · 查看原书依据

      (4)BPE分词主逻辑:bpe_tokenize函数将以上步骤整合,进行多次迭代,每次选择频率最高的字对进行合并,形成子词单位,最终返回包含BPE分词结果的词汇表。

    参考来源

    - 位置:《从零构建大模型:算法、训练与微调》第6章《数据处理与数据增强》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter010_0003.xhtml) - 结论依据:原文的 BPE 主逻辑由获取初始词表、统计字对频率、合并最高频字对三步迭代组成,并以合并高频字对解决稀有词问题。 - 原始内容:(4)BPE分词主逻辑:bpe_tokenize函数将以上步骤整合,进行多次迭代,每次选择频率最高的字对进行合并,形成子词单位,最终返回包含BPE分词结果的词汇表。