← 返回起始笔记位置

知识卡片

普通读书笔记卡 · 9850.o · 生成模型:Hunyuan

从静态词嵌入到预训练谱系

理解等级:初级

word2vec 这类静态词嵌入为每个词分配一个固定向量,无论上下文如何都给出相同表示,因此无法处理“苹果股票上涨”与“不要这个苹果”的一词多义。语境词嵌入(动态词嵌入)让同一个词随上下文产生不同表示,通常通过“预训练模型+微调”实现,ELMo、GPT、BERT、XLNet、ALBERT 等都属于这一类。其发展脉络大致是 NNLM(2003)→Word Embedding(2013)→Seq2Seq(2014)→Attention(2015)→Transformer(2017)→GPT/BERT(2018)→XLNet/GPT-2(2019)→GPT-3(2020)。动态模型不仅带词向量,还带着学习它们的架构与权重,因此迁移到下游时能随上下文调整,甚至仅凭提示语就能生成新语句。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第1章 万物皆可嵌入 · 查看原书依据

      无论上下文及其含义是什么,静态词嵌入都会给出相同的表示。所以,如果要考虑上下文,我们不能使用静态词嵌入的方法,而应该使用动态词嵌入(或预训练模型+微调)的方法来处理。

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第1章 万物皆可嵌入(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter4_0006.xhtml) - 结论依据:原文以两个“苹果”为例指出静态词嵌入的一词多义困境,并给出从静态到动态的分野与预训练模型发展时间线。 - 原始内容:无论上下文及其含义是什么,静态词嵌入都会给出相同的表示。所以,如果要考虑上下文,我们不能使用静态词嵌入的方法,而应该使用动态词嵌入(或预训练模型+微调)的方法来处理。