← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9685.k · 生成模型:DeepSeek-V4.1-Flash

字节级 BPE 消灭 UNK

理解等级:中级

普通 BPE 的基础词表是训练语料中出现过的字符,任何没见过的字符——罕见汉字、emoji、其他文字——都会落到 UNK。要根治就得让词表覆盖所有 Unicode 字符,但 Unicode 有超过 14 万个符号,词表本身就成了负担,而且绝大多数在语料中不会出现。

GPT-2 的办法是更换基础单位:不用字符,用字节。UTF-8 编码能把任何文本变成 0–255 的字节序列,所以 256 个字节词元就足以表示世界上所有字符;再在其上用 BPE 合并高频字节串。这样任何输入都可编码、永不产生 UNK,同时高频片段仍被合并成短词元,不会退化成又长又碎的纯字节序列。

代价与细节: - 词表 = 256 个字节词元 + 1 个文本结束符 + 50000 个学到的合并,共 50257 项。 - 一个非 ASCII 字符要占多个字节,中文与 emoji 的序列明显比字符级更长,这是零 UNK 换来的成本。 - 合并规则需要约束以避免产生无意义组合;解码必须严格按 UTF-8 还原,否则会出现非法字节。

在多语言语料上,基于字节的 BPE 比基于 Unicode 字符的 BPE 更紧凑,因为不必为每种文字预留大量稀有字符。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第2章 语言模型和分词 · 查看原书依据

      为了解决这一难题,由OpenAI开发的语言模型GPT-2采用了一种将字节作为基础词表的创新方法。该方法定义了一个包括256个字节词元的词表,然后使用BPE算法对其进行扩展。

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第2章《语言模型和分词》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter4.xhtml) - 结论依据:原文该段以「为了解决这一难题,由OpenAI开发的语言模型GPT-2采用了一种将…」为中心展开,本卡的核心判断「普通 BPE 的基础词表是训练语料中出现过的字符,任何没见过的字符——罕见汉字、emoji、其他文字——都会落到 UNK。」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:为了解决这一难题,由OpenAI开发的语言模型GPT-2采用了一种将字节作为基础词表的创新方法。该方法定义了一个包括256个字节词元的词表,然后使用BPE算法对其进行扩展。