← 返回卡片

原书出处

大模型技术30讲

08 第8章 Transformer架构的成功

核验版本的摘录快照 · 导入于 2026-11-18T10:51:38.335Z

。表面上看,这与全连接层颇为相似,每个输入元素都通过权重与下一层的输入元素相连。

然而,在注意力机制中,注意力权重的计算涉及将每个输入元素与其他所有元素进行比较。通过这种方法得到的注意力权重是动态的,且依赖于输入。

相比之下,卷积层或全连接层的权重在训练后是固定的,如图8-1所示。 图8-1 全

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0012.xhtml

EPUB SHA-256:aed12db0b1b08a8757496d8d12796b8829fa2546eb77ccf47b557e4abbb6a0ec