原书出处
大语言模型-基础与前沿 (熊涛)
02 第2章 语言模型和分词
些字符没有包含在子词表中,则子词模型可能会将这些字符视为未知字符,这对于在创建词表时没有考虑到的语言来说可能会存在问题。
最近,研究人员探索了用无词元模型作为分词的替代方法(Clark et al,2022b)。这些模型将文本转换为字节序列,允许它们处理任何文本序列,而不需要大型的词表矩阵。
事实上,根据定义,字节级模型只需要256个嵌入。这为模型本身释放了更多参数,在某些应用程序中这种方法可能是有益的。字节级
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter4.xhtml
EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d