← 返回卡片

原书出处

大语言模型-基础与前沿 (熊涛)

02 第2章 语言模型和分词

核验版本的摘录快照 · 导入于 2026-11-18T14:25:08.825Z

盖所有可能字符和符号的综合词表。但是,由于Unicode符号超过140000个,因此创建这样的词表可能是一项艰巨的任务。

为了解决这一难题,由OpenAI开发的语言模型GPT-2采用了一种将字节作为基础词表的创新方法。该方法定义了一个包括256个字节词元的词表,然后使用BPE算法对其进行扩展。

BPE算法是一种用于将频繁出现的字节序列合并为单个词元的技术,可以缩小词表的大小。在合并过程中会制定某些规则,以防止创建

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter4.xhtml

EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d