原书出处
深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)
05 第5章 注意力机制
了类似注意力机制的机制,从而极大提升了自然语言处理、语音识别、图像处理的效率和性能。 5.1.1 两种常见的注意力机制
根据注意力范围的不同,人们又把注意力分为软注意力和硬注意力。 1)软注意力(Soft Attention)。这是比较常见的注意力机制,对所有key求权重概率,每个key都有一个对应的权重,是一种全局的计算方式(也叫作Global Attention)。
这种方式比较理性,参考了所有key的内容,再进行加权,但是计算量可能会大一些。 2)硬注意力(Hard Attentio
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter8_0001.xhtml
EPUB SHA-256:0056cad2f11cb1d60ead5054060bd6d41fef87dd049656db310bdc789c0ec7da