原书出处
深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)
08 第8章 BERT的优化方法
此,。左下方是查询流的计算,因为不能参考自己的内容,所以,而。 8.1.3 融入Transformer-XL的理念 1)
引入Transformer-XL的循环机制(Recurrence Mechanism)。 前一个段计算的表示(representation)被修复并缓存,以便在模型处理下一个新段时作为扩展上下文重新利用。 最大可能依赖关系长度增加了N倍,其中N表示网络的深度。 解决了上下文碎片问题
,为新段前面的标识符提供必要的上下文。 由于不需要重复计算,Transformer-XL在语言建模任务的评估期间比van
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter11_0001.xhtml
EPUB SHA-256:0056cad2f11cb1d60ead5054060bd6d41fef87dd049656db310bdc789c0ec7da