原书出处
深度学习详解
07 Transformer 7.4.2 非自回归解码器
非自回归解码器有很多优点. 其中一个优点是平行化.自回归解码器在输出句子的时候是一个汉字一个汉字产生的,假设要输出长度为100个汉字的句子,就需要做100次解码. 但是非自回归解码器不管句子的长度如何,都是一次性产生完整的句子.所以非自回归解码器在速度上比自回归解码器快.非自回归解码器的想法是在有了 Transformer 以后,基于这种自注意力的解码器产生的.以前如果用LSTM或RNN,给它一排 <BOS>,则无法同时产生全部的输出,输出也是一个一个产生的.
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter07.xhtml
EPUB SHA-256:35d2d4b7de742e0ce7756e7fb57c534014bf33cecdf0483a75e23cb7446cb7dc