原书出处
大语言模型-基础与前沿 (熊涛)
03 第3章 Transformer
架构是序列到序列任务(如机械翻译和摘要)的常用方法。编码器生成输入序列的表征,而解码器从该表征中检索信息以生成输出序列。
Transformer的编码器由6个相同的重复模块组成,每个模块包含一个多头自注意力层和一个逐点全连接前馈网络。
多头自注意力层允许编码器有效地捕捉输入序列中的长程依赖关系和上下文,而逐点全连接前馈网络对序列中的每个元素应用相同的线性
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter5.xhtml
EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d