知识卡片
把空格当作普通符号
BPE 与词级分词都隐含一个前提:文本可以用空格切成词。这对汉语、日语、泰语不成立,只能先挂一个语言相关的预分词器,工程上很脆,也容易引入切分错误。
SentencePiece 把输入当成一条原始 Unicode 字符流,空格也当普通符号(常用下画线表示),因此不需要预分词,也不依赖某语言的书写习惯;它在该字符流上跑 BPE 或单元语法(unigram)算法来构造词表。解码时把词元直接拼接、下画线换回空格,反分词几乎免费。
两种切分逻辑方向相反: - BPE 式:自底向上。从字符出发,不断合并最高频的相邻对,词表由小变大。 - unigram 式:自顶向下。先准备含常见词与子串的大词表,用一元语言模型给每个词元估概率,再反复删除「删掉后语料似然下降最小」的符号,直到目标大小,基础字符始终保留以兜底。
找最优切分是在词元格上用 Viterbi 求最大概率路径;词元概率用 EM(Baum-Welch 的变体)估计,并先优化低阶再优化高阶,以避开局部最优。没有现成词表时,用启发式从语料生成种子片段,按似然下降率排序保留前 α%(如 80%),迭代裁剪。
关键约束:目标词表大小(8k、16k、32k)必须在训练前定死,训练中不能新增词元。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第2章 语言模型和分词 · 查看原书依据
SentencePiece为神经网络文本处理中的子词分词和反分词(detokenization)提供了一种简单且不受语言限制的解决方案。它将输入视为包含空格的原始字符流,并应用BPE算法或单元语法算法来构造词表。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第2章《语言模型和分词》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter4.xhtml)
- 结论依据:原文该段以「SentencePiece为神经网络文本处理中的子词分词和反分词(d…」为中心展开,本卡的核心判断「BPE 与词级分词都隐含一个前提:」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:SentencePiece为神经网络文本处理中的子词分词和反分词(detokenization)提供了一种简单且不受语言限制的解决方案。它将输入视为包含空格的原始字符流,并应用BPE算法或单元语法算法来构造词表。