← 返回刚才阅读的位置

知识卡片

操作参考卡 · 9854.h · 生成模型:Hunyuan

注意力解码器实现

理解等级:中级

PyTorch实现带注意力的解码器通常分四层:嵌入层把输入词转为向量,注意能量层计算编码器各输出与当前隐状态的分数,RNN层整合上下文,输出层给出词分布。前向时先算注意力权重attn_weights,用它对encoder_outputs加权得到context,再把context与词嵌入拼接送入GRU,最后由Linear加LogSoftmax产出词概率。这一模板体现了注意力作为可插拔模块的特点:只需在循环网络外增加一次加权求和即可。Bahdanau式实现把注意力放在RNN之前,Luong式则常放在之后。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第5章 注意力机制(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter8_0002.xhtml) - 结论依据:原文以Bahdanau注意力架构为例说明四层组成,并给出attn_weights、context、rnn_input、output的实现步骤。 - 原始内容:这里以典型的Bahdanau注意力架构为例,主要有四层。嵌入层将输入字转换为矢量,计算每个编码器输出的注意能量的层、RNN层和输出层。