知识卡片
分心模型的局限
不带注意力的Encoder-Decoder把整个输入压缩成固定语义向量C,生成每个目标词时都用同一个C。以Tom chase Jerry译成”杰瑞”为例,三个英文词对”杰瑞”的贡献被强制相同,而显然Jerry应更重要,这种平均用力正是分心模型的问题。输入短时影响尚小,输入长时单词自身信息被压缩掉,细节大量丢失,翻译质量随之下降。注意力机制的出发点就是打破这种固定表示,让不同输入词对不同输出词产生不同影响。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第5章 注意力机制 · 查看原书依据
在翻译“杰瑞”这个中文单词的时候,分心模型里面的每个英文单词对于翻译目标单词“杰瑞”的贡献是相同的,很明显这并不合理,因为“Jerry”对于“杰瑞”更重要,但是分心模型是无法体现这一点的,这也是说它没有引入注意力机制的原因。
参考来源
- 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第5章 注意力机制(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter8_0002.xhtml)
- 结论依据:原文用Tom chase Jerry的例子说明分心模型对每个英文词贡献相同,"很明显这并不合理",并指出长句会丢失细节信息。
- 原始内容:在翻译“杰瑞”这个中文单词的时候,分心模型里面的每个英文单词对于翻译目标单词“杰瑞”的贡献是相同的,很明显这并不合理,因为“Jerry”对于“杰瑞”更重要,但是分心模型是无法体现这一点的,这也是说它没有引入注意力机制的原因。