← 返回卡片

原书出处

大模型技术30讲

08 第8章 Transformer架构的成功

核验版本的摘录快照 · 导入于 2026-11-18T10:51:38.336Z

ansformer预训练,是Transformer模型成功背后的另一个重要因素。

预训练时,Transformer会学习预测句子中缺失的词语,或是文档中的下一个句子。通过学习这些内容,模型强行掌握了能够广泛适用于各类下游任务的语言通用表征。

尽管无监督预训练在自然语言处理任务中已表现出高有效性,但是否适用于计算机视觉任

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0012.xhtml

EPUB SHA-256:aed12db0b1b08a8757496d8d12796b8829fa2546eb77ccf47b557e4abbb6a0ec