原书出处
大语言模型-基础与前沿 (熊涛)
02 第2章 语言模型和分词
盖所有可能字符和符号的综合词表。但是,由于Unicode符号超过140000个,因此创建这样的词表可能是一项艰巨的任务。
为了解决这一难题,由OpenAI开发的语言模型GPT-2采用了一种将字节作为基础词表的创新方法。该方法定义了一个包括256个字节词元的词表,然后使用BPE算法对其进行扩展。
BPE算法是一种用于将频繁出现的字节序列合并为单个词元的技术,可以缩小词表的大小。在合并过程中会制定某些规则,以防止创建
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter4.xhtml
EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d