原书出处
智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)
05 第5章 搜索系统中的主要算法
键向量、值向量。通过计算得到8个不同的Z矩阵,然后把所有Z矩阵拼接成一个矩阵,乘以同一个附加的权重矩阵得到新的Z矩阵。
输入的句子可以看作是有序的词向量组合,所以词在输入句子中的位置信息也很重要。最简单的方法是,只要我们加入位置的向量编码,并和每个词向量相结合,则输入的词向量就会带有序列信息。
位置编码方法有很多,笔者给出的是利用正选曲线编码的版本。 图5-24为缩放点积注意力机制示意图,图5-25为包含注意力层
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0080.html
EPUB SHA-256:7c59ad7c208225d5ad9ff8ebac84642c693438b69bb9a48fad164b9dfb1eb976