知识卡片
注意力解码器实现
PyTorch实现带注意力的解码器通常分四层:嵌入层把输入词转为向量,注意能量层计算编码器各输出与当前隐状态的分数,RNN层整合上下文,输出层给出词分布。前向时先算注意力权重attn_weights,用它对encoder_outputs加权得到context,再把context与词嵌入拼接送入GRU,最后由Linear加LogSoftmax产出词概率。这一模板体现了注意力作为可插拔模块的特点:只需在循环网络外增加一次加权求和即可。Bahdanau式实现把注意力放在RNN之前,Luong式则常放在之后。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第5章 注意力机制 · 查看原书依据
这里以典型的Bahdanau注意力架构为例,主要有四层。嵌入层将输入字转换为矢量,计算每个编码器输出的注意能量的层、RNN层和输出层。
参考来源
- 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第5章 注意力机制(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter8_0002.xhtml)
- 结论依据:原文以Bahdanau注意力架构为例说明四层组成,并给出attn_weights、context、rnn_input、output的实现步骤。
- 原始内容:这里以典型的Bahdanau注意力架构为例,主要有四层。嵌入层将输入字转换为矢量,计算每个编码器输出的注意能量的层、RNN层和输出层。