原书出处
深度学习详解
07 Transformer 7.7.5 使用强化学习训练
接下来还有另外一个问题,评估标准用的是BLEU(代表BiLingual Evaluation Understudy) 分数. BLEU虽然最先用于评估机器翻译的结果,但现在已经被广泛用于评估许多应用输出序列的质量. 解码器先产生一个完整的句子,再拿它跟正确的句子做比较,算出 BLEU 分数.在训练的时候,每个词都是分开考虑的,最小化的是交叉熵,最小化交叉熵不一定可以最大化 BLEU 分数. 但在做验证的时候,并不是挑交叉熵最小的模型,而是挑 BLEU 分数最高的模型.一种可能的想法是,将训练损失设置成BLEU 分数乘以一个负号,最小化损失等价于最大化 BLEU 分数. 但BLEU 分数很复杂,若计算两个句子之间的 BLEU 分数,则损失根本无法做微分.我们之所以采用交叉熵,并且将每个汉字分开来算,是因为这样才有办法处理.遇到优化无法解决的问题时,可以使用强化学习训练.具体来讲,当遇到无法优化的损失函数时,就把损失函数当成强化学习的奖励,而把解码器当成智能体,详见论文“Sequence Level Training with Recurrent Neural Networks”[8].
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter07.xhtml
EPUB SHA-256:35d2d4b7de742e0ce7756e7fb57c534014bf33cecdf0483a75e23cb7446cb7dc