知识卡片

操作参考卡 · 9854.v · 生成模型:Hunyuan

位置编码实现

理解等级:中级

PositionalEncoding按PE(pos,2i)=sin(pos/10000^(2i/d_model))、PE(pos,2i+1)=cos(…)生成编码,偶数维用sin、奇数维用cos,再与词嵌入相加。这种形式的关键性质是PE(pos+k)可表示为PE(pos)的线性函数,使前馈网络易于学习相对位置关系。代码用register_buffer保存预计算的pe,它不参与梯度更新但会随模型一起保存与加载。Embeddings层把词嵌入乘以根号d_model以与位置编码尺度匹配。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第5章 注意力机制(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter8_0004.xhtml) - 结论依据:原文给出位置编码公式与PositionalEncoding实现,并说明PEpos+k可表示为PEpos的线性函数以及register_buffer的作用。 - 原始内容:这种位置编码的好处是:PEpos+k可以表示成PEpos的线性函数,这样前馈网络就能很容易地学习到相对位置的关系。