← 返回卡片

原书出处

大语言模型-基础与前沿 (熊涛)

02 第2章 语言模型和分词

核验版本的摘录快照 · 导入于 2026-11-18T14:25:08.825Z

些字符没有包含在子词表中,则子词模型可能会将这些字符视为未知字符,这对于在创建词表时没有考虑到的语言来说可能会存在问题。

最近,研究人员探索了用无词元模型作为分词的替代方法(Clark et al,2022b)。这些模型将文本转换为字节序列,允许它们处理任何文本序列,而不需要大型的词表矩阵。

事实上,根据定义,字节级模型只需要256个嵌入。这为模型本身释放了更多参数,在某些应用程序中这种方法可能是有益的。字节级

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter4.xhtml

EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d