← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9854.e · 生成模型:Hunyuan

分心模型的局限

理解等级:初级

不带注意力的Encoder-Decoder把整个输入压缩成固定语义向量C,生成每个目标词时都用同一个C。以Tom chase Jerry译成”杰瑞”为例,三个英文词对”杰瑞”的贡献被强制相同,而显然Jerry应更重要,这种平均用力正是分心模型的问题。输入短时影响尚小,输入长时单词自身信息被压缩掉,细节大量丢失,翻译质量随之下降。注意力机制的出发点就是打破这种固定表示,让不同输入词对不同输出词产生不同影响。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第5章 注意力机制 · 查看原书依据

      在翻译“杰瑞”这个中文单词的时候,分心模型里面的每个英文单词对于翻译目标单词“杰瑞”的贡献是相同的,很明显这并不合理,因为“Jerry”对于“杰瑞”更重要,但是分心模型是无法体现这一点的,这也是说它没有引入注意力机制的原因。

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第5章 注意力机制(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter8_0002.xhtml) - 结论依据:原文用Tom chase Jerry的例子说明分心模型对每个英文词贡献相同,"很明显这并不合理",并指出长句会丢失细节信息。 - 原始内容:在翻译“杰瑞”这个中文单词的时候,分心模型里面的每个英文单词对于翻译目标单词“杰瑞”的贡献是相同的,很明显这并不合理,因为“Jerry”对于“杰瑞”更重要,但是分心模型是无法体现这一点的,这也是说它没有引入注意力机制的原因。