原书出处
大语言模型-基础与前沿 (熊涛)
04 第4章 预训练目标和解码策略
方法。为了训练MiM(Masked Infilling Model,掩蔽填充模型),在共享解码器架构中使用了两个解码流。
前向语言模型和后向语言模型生成相反方向的词元。前向语言模型根据前缀及其生成的词元预测下一个词元,而后向语言模型根据后缀及其生成的词元预测上一个词元。
预训练使用标准语言建模损失和协议正则化器相结合的方法,在大型文本语料库中对这两个模型进行联合训练。预训练完成后,前向语言
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter6.xhtml
EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d