知识卡片
BPE:按频率合并出子词
字节对编码(BPE)原本用于数据压缩,2015 年被借来做子词分词。它假设文本先被预分词(空格或规则切分)成词,然后两步走:
- 统计词频:得到去重后的词列表及每个词的频次。
- 迭代合并:初始词表是所有出现过的单个字符;每轮统计相邻符号对按词频加权的出现次数,把最高频的一对合并成新符号并入词表,重复到预设词表大小。
举例:语料为 news 出现 7 次、newbies 3 次、newest 9 次,基础词表是 n、e、w、s、b、i、t 等字符。第一轮 n+e 共 19 次(7+3+9),合并得 ne;第二轮 ne+w 仍是 19 次,得 new;第三轮 e+s 在 news 与 newest 中出现最多,得 es。学到的合并规则 (n,e)→ne、(ne,w)→new、(e,s)→es 按学习顺序存下来。
编码新文本时按同一顺序重放合并,所以 newer 会先变 ne w e r,再变 new e r;若 r 不在基础词表里就成 UNK。由此可见:词表大小等于基础字符数加合并次数,是训练前必须定的超参数(GPT-2 为 478 个基础字符加 40000 次合并)。这也解释了 BPE 的性格——它只认频率,切出的片段不一定对应词素,但一定高频、稳定;形态复杂的语言因此受益最大。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第2章 语言模型和分词 · 查看原书依据
预分词完成后,会生成一组不重复的单词,并确定每个单词在训练数据中出现的频率。接下来,BPE算法创建一个由不重复的单词中的所有符号组成的基础词表,并使用合并规则将基础词表中的两个符号形成新的符号。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第2章《语言模型和分词》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter4.xhtml)
- 结论依据:原文该段以「预分词完成后,会生成一组不重复的单词,并确定每个单词在训练数据中出现…」为中心展开,本卡的核心判断「字节对编码(BPE)原本用于数据压缩,2015 年被借来做子词分词。」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:预分词完成后,会生成一组不重复的单词,并确定每个单词在训练数据中出现的频率。接下来,BPE算法创建一个由不重复的单词中的所有符号组成的基础词表,并使用合并规则将基础词表中的两个符号形成新的符号。