原书出处
大语言模型-基础与前沿 (熊涛)
02 第2章 语言模型和分词
于大多数语言,而GPT(Radford et al,2018)利用Spacy和ftfy来计算训练语料库中每个单词的频率。
预分词完成后,会生成一组不重复的单词,并确定每个单词在训练数据中出现的频率。接下来,BPE算法创建一个由不重复的单词中的所有符号组成的基础词表,并使用合并规则将基础词表中的两个符号形成新的符号。
重复该过程,直到所需的词汇量。需要注意的是,所需的词汇量是一个超参数,必须在训练分词器之前定义。 例如,假设在预分词之后
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter4.xhtml
EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d