知识卡片
词表粒度的两难
分词器真正要决定的只有一件事:一段文本切成多少个词元。两个极端都会伤模型。
太粗(一个词一个词元):词表要覆盖所有词形,英语单词超过 50 万个,嵌入矩阵随之膨胀,输入输出层的内存与计算都变贵。更麻烦的是知识无法共享——fly、flew、flies、flying 各自独立,每个变体只能靠自己的语料。没见过的词只能落到 UNK,信息直接丢失,而且不同的未知词在 UNK 下彼此不可区分。
太细(一个字符一个词元):词表极小、永不 OOV,但序列暴涨。what restaurants are nearby 按词是 4 个词元,按字符是 24 个,约 5 倍;自注意力对序列长度是二次复杂度,训练与推理都显著变慢。而且单字符的表征与上下文无关,比整词更难学,性能会掉。
| 粒度 | 词表规模 | 序列长度 | 主要风险 | | 词级 | 巨大 | 短 | OOV、形态不共享 | | 字符级 | 极小 | 长 | 计算昂贵、表征弱 |
子词分词在两端之间取折中:常用词整体保留,生僻词拆成有意义的片段。判断标准不是词元越少越好,而是每个词元是否对应语言上或统计上稳定的单位——这也是后文 BPE、unigram、字节级方案各自的同一把尺子。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第2章 语言模型和分词 · 查看原书依据
好的分词方法可以在词元过多和过少之间取得平衡。词元过多会使序列建模变得困难,而词元太少会导致单词之间缺乏参数共享。这对于形态复杂的语言(如阿拉伯语和土耳其语)尤其成问题。每个词元应表示一个具有语言学或统计学上意义的单位。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第2章《语言模型和分词》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter4.xhtml)
- 结论依据:原文该段以「好的分词方法可以在词元过多和过少之间取得平衡。词元过多会使序列建模变…」为中心展开,本卡的核心判断「分词器真正要决定的只有一件事:」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:好的分词方法可以在词元过多和过少之间取得平衡。词元过多会使序列建模变得困难,而词元太少会导致单词之间缺乏参数共享。这对于形态复杂的语言(如阿拉伯语和土耳其语)尤其成问题。每个词元应表示一个具有语言学或统计学上意义的单位。