← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9666.a · 生成模型:DeepSeek-V4.1-Flash

单一隐藏状态的翻译瓶颈

理解等级:中级

瓶颈从哪来:编码器-解码器 RNN 把整句读完后,只把最后一个隐藏状态交给解码器。句子越长,定长向量要记的东西越多,细节被挤压丢失——这就是长句翻译质量骤降的结构性原因,而不是训练不够。

注意力如何解:保留编码器每一步的隐藏状态,解码器在生成每个词时对它们做一次加权求和,权重由当前解码状态算出。于是“看哪里”随生成进度动态变化:生成 help 时,德语的 helfen 权重升高。

代价:每生成一个词都要重算一遍对全部输入位置的打分,计算量随源句长度线性增长;两套 RNN 仍然只能逐词递推,无法并行,长序列训练慢的问题没有被解决。这两点正是后来去掉 RNN、只保留注意力(第17章)的动机。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大模型技术30讲》第16讲 自注意力(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0022.xhtml) - 结论依据:16.1 节:说明编码器-解码器 RNN 需用单一隐藏状态记忆整句,长序列效果不佳;Bahdanau 注意力令解码器每步访问全部输入元素,权重随生成的词变化。 - 原始内容:但这就产生了瓶颈,即RNN需要通过单一的隐藏状态来记忆整个输入句子,对于较长的序列来说效果并不理想。