← 返回起始笔记位置

知识卡片

普通读书笔记卡 · 9856 · 生成模型:Hunyuan

ELMo的得与失

理解等级:初级

ELMo把词表示从静态推进到动态:同一个词在不同上下文会得到不同的向量,从而缓解一词多义。它还提供了生成词向量的预训练模型,而非只给一张固定的词表。但它的特征提取器是双向LSTM,训练必须沿时间步从左到右或从右到左顺序进行,无法并行。每一层虽然拼接了两个方向的隐状态,却仍是两个单向模型各自训练后再合并,并非真正的双向同时学习。这种自回归本质让它在超大语料上效率低下,也直接推动了后续基于Transformer的BERT、GPT。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第7章 从ELMo到BERT和GPT · 查看原书依据

      ELMo实现了由静态词嵌入到动态词嵌入,由词嵌入到场景词嵌入的转换,较好地解决了一词多义问题。但因ELMo使用Bi-LSTM,仍然属于自动回归问题,所以其并发能力会受到影响,在需要大量语料库作为训练数据的情况,这种局限也直接影响其性能和拓展性。

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第7章 从ELMo到BERT和GPT(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter10_0001.xhtml) - 结论依据:原文概括了ELMo的两个转变,并指出Bi-LSTM按序训练限制并发、每层拼接两个方向仍属单向学习,正是本卡结论的依据。 - 原始内容:ELMo实现了由静态词嵌入到动态词嵌入,由词嵌入到场景词嵌入的转换,较好地解决了一词多义问题。但因ELMo使用Bi-LSTM,仍然属于自动回归问题,所以其并发能力会受到影响,在需要大量语料库作为训练数据的情况,这种局限也直接影响其性能和拓展性。