知识卡片

普通读书笔记卡 · 9865.a · 生成模型:Hunyuan

静态到动态表示

理解等级:中级

学习 Embedding 表示的方法经历了从静态到动态的转变。最初用多层神经网络不断迭代学习输入表示,但这样得到的 Embedding 比较简单且固定,无法随语义环境变化。后来出现 ELMo、BERT、GPT 等预训练模型,分别以 LSTM、Transformer 作特征提取器,用 biLM、MLM 等目标学到预训练表示和动态 Embedding,使向量能随上下文改变。GPT、BERT、XLNet 等采用 Self-Attention,能够学到更长语句间的依赖关系,因此表示能力和灵活性更强。据此可判断:静态表示适合词与义一一对应的场景,而一词多义、上下文敏感的语义建模必须依靠动态表示。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第16章 Embedding技术总结 · 查看原书依据

      当然通过这种方法学到的Embedding比较简单,而且Embedding是静态的,无法随着语义环境的变化而变化。后来人们研究出ELMo、BERT、GPT等预训练模型,分别采用LSTM、Transformer作为特征提取器,使用biLM、MLM学到输入的预训练模型表示,及动态的Embedding表示。

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第16章 Embedding技术总结(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter20_0001.xhtml) - 结论依据:原文在 16.1.2 节先说明多层神经网络得到的静态 Embedding 局限,再指出预训练模型通过 biLM、MLM 与 Self-Attention 获得动态表示并捕捉长距离依赖。 - 原始内容:当然通过这种方法学到的Embedding比较简单,而且Embedding是静态的,无法随着语义环境的变化而变化。后来人们研究出ELMo、BERT、GPT等预训练模型,分别采用LSTM、Transformer作为特征提取器,使用biLM、MLM学到输入的预训练模型表示,及动态的Embedding表示。