← 返回卡片

原书出处

大语言模型-基础与前沿 (熊涛)

02 第2章 语言模型和分词

核验版本的摘录快照 · 导入于 2026-11-18T14:25:08.825Z

于大多数语言,而GPT(Radford et al,2018)利用Spacy和ftfy来计算训练语料库中每个单词的频率。

预分词完成后,会生成一组不重复的单词,并确定每个单词在训练数据中出现的频率。接下来,BPE算法创建一个由不重复的单词中的所有符号组成的基础词表,并使用合并规则将基础词表中的两个符号形成新的符号。

重复该过程,直到所需的词汇量。需要注意的是,所需的词汇量是一个超参数,必须在训练分词器之前定义。 例如,假设在预分词之后

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter4.xhtml

EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d