知识卡片

普通读书笔记卡 · 9855.a · 生成模型:Hunyuan

ELMo动态词表示机制

理解等级:高级

ELMo的关键差别是它不只给出一份词向量,还给出生成这份向量的预训练模型:实际使用时,把当前句子送进这个模型,每个词得到的表示会随上下文动态调整。也就是说,同一个“苹果”出现在水果句和手机句里,会产出两个不同的向量,多义词问题因此被绕开。这完成了从静态到动态的飞跃——向量不再是查表查出来的固定行,而是上下文计算的结果。代价是推理时不能再简单查表,每次都要跑一遍语言模型;收益是表示携带了句法和语义的语境信息,对下游任务更友好。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第6章 从Word Embedding到ELMo · 查看原书依据

      与静态的词嵌入不同,ELMo除提供临时词嵌入之外,还提供生成这些词嵌入的预训练模型,所以在实际使用时,EMLo可以基于预训练模型,根据实际上下文场景动态调整单词的Word Embedding表示,这样经过调整后的Word Embedding更能表达在这个上下文中的具体含义,自然也就解决了多义词的问题。

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第6章 从Word Embedding到ELMo(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter9_0002.xhtml) - 结论依据:原文指出ELMo除提供临时词嵌入外还提供生成它们的预训练模型,可按实际上下文动态调整表示,从而解决多义词问题并实现静态到动态的飞跃。 - 原始内容:与静态的词嵌入不同,ELMo除提供临时词嵌入之外,还提供生成这些词嵌入的预训练模型,所以在实际使用时,EMLo可以基于预训练模型,根据实际上下文场景动态调整单词的Word Embedding表示,这样经过调整后的Word Embedding更能表达在这个上下文中的具体含义,自然也就解决了多义词的问题。