原书出处
深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)
08 第8章 BERT的优化方法
0!=3628800种排序方法。因此在实际使用时,往往随机选择部分采样序列进行排列。 8.1.2 使用双流自注意力机制
如果采用标准的Transformer来构建排列语言模型,会出现没有目标位置信息的问题。问题的关键是模型并不知道要预测的到底是哪个位置的词,从而导致部分排列下的PLM在预测不同目标词时的概率是相同的。 为解决这个问题,XLNet引入了双流自注意力机制
(Two-Stream Self-Attention)。图8-2展示了双流自注意力机制的计算过程。 查询流(Query)
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter11_0001.xhtml
EPUB SHA-256:0056cad2f11cb1d60ead5054060bd6d41fef87dd049656db310bdc789c0ec7da