知识卡片
单一隐藏状态的翻译瓶颈
瓶颈从哪来:编码器-解码器 RNN 把整句读完后,只把最后一个隐藏状态交给解码器。句子越长,定长向量要记的东西越多,细节被挤压丢失——这就是长句翻译质量骤降的结构性原因,而不是训练不够。
注意力如何解:保留编码器每一步的隐藏状态,解码器在生成每个词时对它们做一次加权求和,权重由当前解码状态算出。于是“看哪里”随生成进度动态变化:生成 help 时,德语的 helfen 权重升高。
代价:每生成一个词都要重算一遍对全部输入位置的打分,计算量随源句长度线性增长;两套 RNN 仍然只能逐词递推,无法并行,长序列训练慢的问题没有被解决。这两点正是后来去掉 RNN、只保留注意力(第17章)的动机。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第16章 自注意力 · 查看原书依据
但这就产生了瓶颈,即RNN需要通过单一的隐藏状态来记忆整个输入句子,对于较长的序列来说效果并不理想。
参考来源
- 位置:《大模型技术30讲》第16讲 自注意力(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0022.xhtml)
- 结论依据:16.1 节:说明编码器-解码器 RNN 需用单一隐藏状态记忆整句,长序列效果不佳;Bahdanau 注意力令解码器每步访问全部输入元素,权重随生成的词变化。
- 原始内容:但这就产生了瓶颈,即RNN需要通过单一的隐藏状态来记忆整个输入句子,对于较长的序列来说效果并不理想。