知识卡片
位置编码实现
PositionalEncoding按PE(pos,2i)=sin(pos/10000^(2i/d_model))、PE(pos,2i+1)=cos(…)生成编码,偶数维用sin、奇数维用cos,再与词嵌入相加。这种形式的关键性质是PE(pos+k)可表示为PE(pos)的线性函数,使前馈网络易于学习相对位置关系。代码用register_buffer保存预计算的pe,它不参与梯度更新但会随模型一起保存与加载。Embeddings层把词嵌入乘以根号d_model以与位置编码尺度匹配。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第5章 注意力机制 · 查看原书依据
这种位置编码的好处是:PEpos+k可以表示成PEpos的线性函数,这样前馈网络就能很容易地学习到相对位置的关系。
参考来源
- 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第5章 注意力机制(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter8_0004.xhtml)
- 结论依据:原文给出位置编码公式与PositionalEncoding实现,并说明PEpos+k可表示为PEpos的线性函数以及register_buffer的作用。
- 原始内容:这种位置编码的好处是:PEpos+k可以表示成PEpos的线性函数,这样前馈网络就能很容易地学习到相对位置的关系。