原书出处
大语言模型-基础与前沿 (熊涛)
02 第2章 语言模型和分词
第二项进展是Transformer架构(Vaswani et al,2017),该架构于2017年引入,用于机器翻译。
Transformer具有固定的上下文长度n,但更易于训练,并且可以利用GPU的并行性。此外,对于许多应用程序来说,可以将上下文长度n设置为“足够大”,例如,在GPT-3中,使用n=2048。
第3章将对Transformer架构进行更详细的分析。 总之,神经语言模型的发展大大提高了生成连贯且上下文相关的文本的能
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter4.xhtml
EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d