原书出处
深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)
05 第5章 注意力机制
编码的输出也是(10, 512)。对应pos就是位置(0~9),512维的偶数维使用sin函数,而奇数维使用cos函数。
这种位置编码的好处是:PEpos+k可以表示成PEpos的线性函数,这样前馈网络就能很容易地学习到相对位置的关系。
图5-32就是这样一个示例,向量大小d_model=20,这里画出来的是第4、5、6和7维(下标从零开始)维的图像,最大
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter8_0004.xhtml
EPUB SHA-256:0056cad2f11cb1d60ead5054060bd6d41fef87dd049656db310bdc789c0ec7da