原书出处
深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)
05 第5章 注意力机制
语单词肯定是有帮助的,因为引入了新的信息。同理,目标句子中的每个单词都应该学会其对应的源语句中单词的注意力分配概率信息。
这意味着在生成单词y i的时候,原先相同的中间语义表示C会替换成根据当前生成单词而不断变化的Ci。理解AM的关键就是这里,即由固定的中间语义表示C换成了根据当前输出单词来调整成加入注意力模型的变化的Ci。
引入注意力机制的Encoder-Decoder模型架构示意图如图5-3所示。 图5-3 引入注意力机制的Encoder-
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter8_0002.xhtml
EPUB SHA-256:0056cad2f11cb1d60ead5054060bd6d41fef87dd049656db310bdc789c0ec7da