原书出处
大模型技术30讲
17 第17章 编码器和解码器风格的Transformer架构
。 图17-2 BERT在预训练期间随机掩蔽15%的输入词元 如图17-2所示,
掩码语言建模背后的主要思想是,在输入序列中随机掩蔽(或替换)词元,然后训练模型根据上下文预测原本被掩蔽的词。
除了图17-2展示的掩码语言建模预训练任务外,还有下一句预测任务,它要求模型判
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0023.xhtml
EPUB SHA-256:aed12db0b1b08a8757496d8d12796b8829fa2546eb77ccf47b557e4abbb6a0ec