原书出处
深度学习详解
07 Transformer 7.7.6 计划采样
假设解码器在训练的时候永远只看过正确的东西,在测试的时候,只要有一步错,就会步步错. 解码器从来没有看过错的东西,它看到错的东西会非常惊奇,接下来产生的结果可能都是错的.一个可以思考的方向是,给解码器的输入加入一些错的东西,它反而学得更好,这一技巧被称为计划采样(scheduled sampling)[9]. 计划采样不是学习率调整.计划采样很早就有了. 在还没有 Transformer而只有 LSTM 的时候,就已经有计划采样了.但是计划采样会损害Transformer 的平行化能力,因此 Transformer的计划采样另有招数,详见论文“Scheduled Sampling for Transformers”[10]和“Parallel ScheduledSampling”[11].
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter07.xhtml
EPUB SHA-256:35d2d4b7de742e0ce7756e7fb57c534014bf33cecdf0483a75e23cb7446cb7dc