知识卡片

普通读书笔记卡 · 9854.f · 生成模型:Hunyuan

从固定C到动态Ci

理解等级:中级

引入注意力后,生成每个目标词时使用的语义表示不再是固定的C,而是随当前输出变化的Ci。翻译”杰瑞”时模型给出(Tom,0.3)(Chase,0.2)(Jerry,0.5)这样的分配,再据其对各输入词编码做加权,得到专属该词的上下文。于是每个输出词都能回看源句并各取所需,目标句与源句之间建立起灵活的对齐关系。理解注意力的关键就在于这次替换:从一次性压缩变为按需动态组装上下文。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第5章 注意力机制 · 查看原书依据

      这意味着在生成单词y i的时候,原先相同的中间语义表示C会替换成根据当前生成单词而不断变化的Ci。理解AM的关键就是这里,即由固定的中间语义表示C换成了根据当前输出单词来调整成加入注意力模型的变化的Ci。

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第5章 注意力机制(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter8_0002.xhtml) - 结论依据:原文点明"理解AM的关键就是这里",即由固定中间语义表示C换成根据当前输出单词调整的变化的Ci,并给出概率分布示例。 - 原始内容:这意味着在生成单词y i的时候,原先相同的中间语义表示C会替换成根据当前生成单词而不断变化的Ci。理解AM的关键就是这里,即由固定的中间语义表示C换成了根据当前输出单词来调整成加入注意力模型的变化的Ci。