知识卡片

普通读书笔记卡 · 9685.m · 生成模型:DeepSeek-V4.1-Flash

无分词器与可学习分词

理解等级:高级

子词分词仍是「先定切法、再训模型」的两段式:切错了模型只能被动接受,拼写错误、大小写、罕见文字都可能被切碎。两条路线试图拆掉这层固定结构。

无分词器:直接把文本当字节序列建模,词表只需 256 个嵌入,省下的参数可以给主体网络,任何文本都能表示,不必担心 OOV。ByT5 把未处理的 UTF-8 字节喂进 T5 式编码器-解码器,仍用掩蔽 15% 字节的目标预训练。结论很有分寸:参数量小于 1B 时字节级优于子词级,超过约 10B 后多语言 T5 反超;字节模型在拼写、发音敏感和噪声多的任务上更强,但序列更长,训练与推理更慢。为此它把编码器做到解码器的 3 倍大,用容量换小词表——词表只有 300 个字符级单位,嵌入矩阵远小于 50000 词表的子词模型。

可学习分词:让切分本身可微、可随任务训练。Charformer 同时取 1、2、3、4 字符块的表征,按学到的权重加权成每个字符的向量;MANTa 用参数化层给每个字节输出「是否为块边界」的概率,再按字节属于该块的概率池化,整条链路随语言模型目标端到端训练,微调时柔性分割还能适应新领域,且不增加总参数量。

共同判断:这条路线用更长的序列换更少的先验假设,收益随模型规模与数据噪声程度变化,不是无条件更优。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第2章 语言模型和分词 · 查看原书依据

      最近,研究人员探索了用无词元模型作为分词的替代方法(Clark et al,2022b)。这些模型将文本转换为字节序列,允许它们处理任何文本序列,而不需要大型的词表矩阵。

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第2章《语言模型和分词》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter4.xhtml) - 结论依据:原文该段以「最近,研究人员探索了用无词元模型作为分词的替代方法(Clark et…」为中心展开,本卡的核心判断「子词分词仍是「先定切法、再训模型」的两段式:」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:最近,研究人员探索了用无词元模型作为分词的替代方法(Clark et al,2022b)。这些模型将文本转换为字节序列,允许它们处理任何文本序列,而不需要大型的词表矩阵。