原书出处
大模型技术30讲
08 第8章 Transformer架构的成功
ansformer预训练,是Transformer模型成功背后的另一个重要因素。
预训练时,Transformer会学习预测句子中缺失的词语,或是文档中的下一个句子。通过学习这些内容,模型强行掌握了能够广泛适用于各类下游任务的语言通用表征。
尽管无监督预训练在自然语言处理任务中已表现出高有效性,但是否适用于计算机视觉任
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0012.xhtml
EPUB SHA-256:aed12db0b1b08a8757496d8d12796b8829fa2546eb77ccf47b557e4abbb6a0ec