← 返回卡片

原书出处

深度学习详解

06 自注意力机制 6.4 位置编码

核验版本的摘录快照 · 导入于 2026-11-21T12:46:32.558Z

在实现自注意力的时候,如果觉得位置信息很重要,就要用到位置编码(positional encoding).如图6.32 所示,位置编码为每一个位置设定一个向量,即位置向量(positional vector). 位置向量用 来表示,上标 代表位置,不同的位置就有不同的向量,且都有一个专属的 . 把 加到 上面就可以了,这相当于提供位置信息. 如果看到 被加上 ,就可以判定现在出现的位置应该是在 这个位置.

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter06.xhtml

EPUB SHA-256:35d2d4b7de742e0ce7756e7fb57c534014bf33cecdf0483a75e23cb7446cb7dc