原书出处
深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)
07 第7章 从ELMo到BERT和GPT
未知 7.1 ELMo的优缺点
ELMo实现了由静态词嵌入到动态词嵌入,由词嵌入到场景词嵌入的转换,较好地解决了一词多义问题。但因ELMo使用Bi-LSTM,仍然属于自动回归问题,所以其并发能力会受到影响,在需要大量语料库作为训练数据的情况,这种局限也直接影响其性能和拓展性。
如何突破这些瓶颈,这是人们非常关心的问题。GPT、BERT等使用Transformer作为特征提取器,很好地解决了并发
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter10_0001.xhtml
EPUB SHA-256:0056cad2f11cb1d60ead5054060bd6d41fef87dd049656db310bdc789c0ec7da