← 返回卡片

原书出处

大模型技术30讲

16 第16章 自注意力

核验版本的摘录快照 · 导入于 2026-11-18T10:51:38.338Z

架构。这一探索促成了原始Transformer架构和自注意力机制的设计的诞生。

在自注意力中,注意力机制应用于同一序列的所有元素之间(而非涉及两个序列),如图16-3中简化的注意力机制所示。

与RNN的注意力机制类似,上下文向量就是对输入序列元素的注意力加权求和得到的。

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0022.xhtml

EPUB SHA-256:aed12db0b1b08a8757496d8d12796b8829fa2546eb77ccf47b557e4abbb6a0ec