← 返回卡片

原书出处

深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)

05 第5章 注意力机制

核验版本的摘录快照 · 导入于 2026-11-19T04:48:36.595Z

了类似注意力机制的机制,从而极大提升了自然语言处理、语音识别、图像处理的效率和性能。 5.1.1 两种常见的注意力机制

根据注意力范围的不同,人们又把注意力分为软注意力和硬注意力。 1)软注意力(Soft Attention)。这是比较常见的注意力机制,对所有key求权重概率,每个key都有一个对应的权重,是一种全局的计算方式(也叫作Global Attention)。

这种方式比较理性,参考了所有key的内容,再进行加权,但是计算量可能会大一些。 2)硬注意力(Hard Attentio

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter8_0001.xhtml

EPUB SHA-256:0056cad2f11cb1d60ead5054060bd6d41fef87dd049656db310bdc789c0ec7da