← 返回卡片

原书出处

大语言模型-基础与前沿 (熊涛)

04 第4章 预训练目标和解码策略

核验版本的摘录快照 · 导入于 2026-11-18T14:25:08.827Z

T模型的目标是双重的:掩蔽词预测和下一句预测。 BERT模型使用由BooksCorpus和英语维基百科组成的训练数据集。

为了实现掩蔽词预测,该模型通过将80%的输入词替换为[MASK]词元,将10%替换为随机字,保持10%不变,从而预测掩蔽词。

除了掩蔽词预测之外,BERT模型还进行连续句子预测训练,即把两个句子分为连续句子或不连续句子。模型在这方面的训练数据包括

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter6.xhtml

EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d