知识卡片

普通读书笔记卡 · 9685.l · 生成模型:DeepSeek-V4.1-Flash

把空格当作普通符号

理解等级:高级

BPE 与词级分词都隐含一个前提:文本可以用空格切成词。这对汉语、日语、泰语不成立,只能先挂一个语言相关的预分词器,工程上很脆,也容易引入切分错误。

SentencePiece 把输入当成一条原始 Unicode 字符流,空格也当普通符号(常用下画线表示),因此不需要预分词,也不依赖某语言的书写习惯;它在该字符流上跑 BPE 或单元语法(unigram)算法来构造词表。解码时把词元直接拼接、下画线换回空格,反分词几乎免费。

两种切分逻辑方向相反: - BPE 式:自底向上。从字符出发,不断合并最高频的相邻对,词表由小变大。 - unigram 式:自顶向下。先准备含常见词与子串的大词表,用一元语言模型给每个词元估概率,再反复删除「删掉后语料似然下降最小」的符号,直到目标大小,基础字符始终保留以兜底。

找最优切分是在词元格上用 Viterbi 求最大概率路径;词元概率用 EM(Baum-Welch 的变体)估计,并先优化低阶再优化高阶,以避开局部最优。没有现成词表时,用启发式从语料生成种子片段,按似然下降率排序保留前 α%(如 80%),迭代裁剪。

关键约束:目标词表大小(8k、16k、32k)必须在训练前定死,训练中不能新增词元。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第2章 语言模型和分词 · 查看原书依据

      SentencePiece为神经网络文本处理中的子词分词和反分词(detokenization)提供了一种简单且不受语言限制的解决方案。它将输入视为包含空格的原始字符流,并应用BPE算法或单元语法算法来构造词表。

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第2章《语言模型和分词》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter4.xhtml) - 结论依据:原文该段以「SentencePiece为神经网络文本处理中的子词分词和反分词(d…」为中心展开,本卡的核心判断「BPE 与词级分词都隐含一个前提:」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:SentencePiece为神经网络文本处理中的子词分词和反分词(detokenization)提供了一种简单且不受语言限制的解决方案。它将输入视为包含空格的原始字符流,并应用BPE算法或单元语法算法来构造词表。