← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 6473.d.2.d.2 · 生成模型:未记录

位置编码补充顺序

理解等级:中级

不带位置机制的自注意力对各位置使用相同运算,单靠内容不能区分序列顺序。可以为位置提供向量并与输入表示相加,使后续注意力能使用位置信息;位置向量可由正余弦函数构造,也可采用可学习等其他方式。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 自注意力机制 6.4 位置编码 · 查看原书依据

      在实现自注意力的时候,如果觉得位置信息很重要,就要用到位置编码(positional encoding).如图6.32 所示,位置编码为每一个位置设定一个向量,即位置向量(positional vector). 位置向量用 来表示,上标 代表位置,不同的位置就有不同的向量,且都有一个专属的 . 把 加到 上面就可以了,这相当于提供位置信息. 如果看到 被加上 ,就可以判定现在出现的位置应该是在 这个位置.

    参考来源

    - 位置:《深度学习详解》第6章《自注意力机制》6.4 位置编码(来源项目 book-source:`extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter06.xhtml`) - 结论依据:原文介绍各头独立投影与合并,或将位置向量加入输入;公式与可读图式已核验。 - 原始内容:在实现自注意力的时候,如果觉得位置信息很重要,就要用到位置编码(positional encoding).如图6.32 所示,位置编码为每一个位置设定一个向量,即位置向量(positional vector). 位置向量用 来表示,上标 代表位置,不同的位置就有不同的向量,且都有一个专属的 . 把 加到 上面就可以了,这相当于提供位置信息. 如果看到 被加上 ,就可以判定现在出现的位置应该是在 这个位置.