原书出处
深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)
08 第8章 BERT的优化方法
不足的问题。那么,XLNet具体是如何实现的呢?为便于理解,接下来通过一些图形进行说明。 8.1.1 排列语言模型简介
假设有一个输入序列[x 1,x 2,x 3,x 4],根据排列语言模型,输入序列可以分解为多种排列方式,这样使用自回归模型预测x 3时,就可以同时看到其上文(x 1,x 2)和下文(x 4),如图8-1所示。
图8-1 排列语言模型在预测x 3时不同排列的情况 在图8-1a中,对应的分解方式是3→2→4→1,因此预测x 3时不
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter11_0001.xhtml
EPUB SHA-256:0056cad2f11cb1d60ead5054060bd6d41fef87dd049656db310bdc789c0ec7da