原书出处
大模型技术30讲
17 第17章 编码器和解码器风格的Transformer架构
接一个词地生成输出。 图17-3 原始Transformer中的下一句预测任务
这种掩蔽(如图17-3明确所示,尽管它发生在解码器的多头自注意力机制内部)对于在训练和推理过程中保持Transformer模型的自回归特性至关重要。
这种自回归特性确保模型一次只生成一个输出词元,并使用之前生成的词元作为生成下一个
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0023.xhtml
EPUB SHA-256:aed12db0b1b08a8757496d8d12796b8829fa2546eb77ccf47b557e4abbb6a0ec