← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 6473.d.2.b.2.c.6 · 生成模型:未记录

序列指标与训练目标

理解等级:中级

逐词交叉熵训练与 BLEU 等整句评估指标并不相同,逐词目标更低不保证整句指标更高。若目标指标不可直接求导,可以把整序列指标作为奖励,考虑使用强化学习优化;奖励设计和训练稳定性仍需验证。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • Transformer 7.7.5 使用强化学习训练 · 查看原书依据

      接下来还有另外一个问题,评估标准用的是BLEU(代表BiLingual Evaluation Understudy) 分数. BLEU虽然最先用于评估机器翻译的结果,但现在已经被广泛用于评估许多应用输出序列的质量. 解码器先产生一个完整的句子,再拿它跟正确的句子做比较,算出 BLEU 分数.在训练的时候,每个词都是分开考虑的,最小化的是交叉熵,最小化交叉熵不一定可以最大化 BLEU 分数. 但在做验证的时候,并不是挑交叉熵最小的模型,而是挑 BLEU 分数最高的模型.一种可能的想法是,将训练损失设置成BLEU 分数乘以一个负号,最小化损失等价于最大化 BLEU 分数. 但BLEU 分数很复杂,若计算两个句子之间的 BLEU 分数,则损失根本无法做微分.我们之所以采用交叉熵,并且将每个汉字分开来算,是因为这样才有办法处理.遇到优化无法解决的问题时,可以使用强化学习训练.具体来讲,当遇到无法优化的损失函数时,就把损失函数当成强化学习的奖励,而把解码器当成智能体,详见论文“Sequence Level Training with Recurrent Neural Networks”[8].

    参考来源

    - 位置:《深度学习详解》第7章《Transformer》7.7.5 使用强化学习训练(来源项目 book-source:`extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter07.xhtml`) - 结论依据:原文以具体序列任务、候选路径或训练推断差异说明对应方法。 - 原始内容:接下来还有另外一个问题,评估标准用的是BLEU(代表BiLingual Evaluation Understudy) 分数. BLEU虽然最先用于评估机器翻译的结果,但现在已经被广泛用于评估许多应用输出序列的质量. 解码器先产生一个完整的句子,再拿它跟正确的句子做比较,算出 BLEU 分数.在训练的时候,每个词都是分开考虑的,最小化的是交叉熵,最小化交叉熵不一定可以最大化 BLEU 分数. 但在做验证的时候,并不是挑交叉熵最小的模型,而是挑 BLEU 分数最高的模型.一种可能的想法是,将训练损失设置成BLEU 分数乘以一个负号,最小化损失等价于最大化 BLEU 分数. 但BLEU 分数很复杂,若计算两个句子之间的 BLEU 分数,则损失根本无法做微分.我们之所以采用交叉熵,并且将每个汉字分开来算,是因为这样才有办法处理.遇到优化无法解决的问题时,可以使用强化学习训练.具体来讲,当遇到无法优化的损失函数时,就把损失函数当成强化学习的奖励,而把解码器当成智能体,详见论文“Sequence Level Training with Recurrent Neural Networks”[8].