← 返回卡片

原书出处

大模型技术30讲

14 第14章 分布假设

核验版本的摘录快照 · 导入于 2026-11-18T10:51:38.337Z

2vec嵌入 BERT是一种基于Transformer架构的大模型(见第8章),

它采用了掩码语言建模方法,即在句子中隐藏部分词语。BERT的任务是根据序列中的其他词语预测这些被隐藏的词语

,如图14-3所示。这是一种用于大模型预训练的自监督学习方法(关于自监督学习的更

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0020.xhtml

EPUB SHA-256:aed12db0b1b08a8757496d8d12796b8829fa2546eb77ccf47b557e4abbb6a0ec