知识卡片
静态到动态表示
学习 Embedding 表示的方法经历了从静态到动态的转变。最初用多层神经网络不断迭代学习输入表示,但这样得到的 Embedding 比较简单且固定,无法随语义环境变化。后来出现 ELMo、BERT、GPT 等预训练模型,分别以 LSTM、Transformer 作特征提取器,用 biLM、MLM 等目标学到预训练表示和动态 Embedding,使向量能随上下文改变。GPT、BERT、XLNet 等采用 Self-Attention,能够学到更长语句间的依赖关系,因此表示能力和灵活性更强。据此可判断:静态表示适合词与义一一对应的场景,而一词多义、上下文敏感的语义建模必须依靠动态表示。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第16章 Embedding技术总结 · 查看原书依据
当然通过这种方法学到的Embedding比较简单,而且Embedding是静态的,无法随着语义环境的变化而变化。后来人们研究出ELMo、BERT、GPT等预训练模型,分别采用LSTM、Transformer作为特征提取器,使用biLM、MLM学到输入的预训练模型表示,及动态的Embedding表示。
参考来源
- 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第16章 Embedding技术总结(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter20_0001.xhtml)
- 结论依据:原文在 16.1.2 节先说明多层神经网络得到的静态 Embedding 局限,再指出预训练模型通过 biLM、MLM 与 Self-Attention 获得动态表示并捕捉长距离依赖。
- 原始内容:当然通过这种方法学到的Embedding比较简单,而且Embedding是静态的,无法随着语义环境的变化而变化。后来人们研究出ELMo、BERT、GPT等预训练模型,分别采用LSTM、Transformer作为特征提取器,使用biLM、MLM学到输入的预训练模型表示,及动态的Embedding表示。