原书出处
大语言模型-基础与前沿 (熊涛)
04 第4章 预训练目标和解码策略
T模型的目标是双重的:掩蔽词预测和下一句预测。 BERT模型使用由BooksCorpus和英语维基百科组成的训练数据集。
为了实现掩蔽词预测,该模型通过将80%的输入词替换为[MASK]词元,将10%替换为随机字,保持10%不变,从而预测掩蔽词。
除了掩蔽词预测之外,BERT模型还进行连续句子预测训练,即把两个句子分为连续句子或不连续句子。模型在这方面的训练数据包括
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter6.xhtml
EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d