知识卡片
教师强制训练解码器
教师强制在训练时将真实的历史目标词元作为解码器前缀,预测下一个目标,并汇总各位置损失;推断时真实前缀通常不可用,需要使用模型自己的输出。训练与推断条件因此存在差异,先前生成错误可能影响后续步骤。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- Transformer 7.6 Transformer的训练过程 · 查看原书依据
如图7.29 所示,在实际训练的时候,输出应该是“机器学习”.编码器第次的输出应该分别是“机”“器”“学”“习”这4个中文汉字的独热向量,答案和这4个汉字的独热向量越接近越好.每一个输出和对应的标准答案都有一个交叉熵.图7.29 涉及4次分类,希望这些分类问题的交叉熵总和越小越好.解码器输出的并非只有“机器学习”这4个字,还有<EOS>.所以解码器的最终第5个位置输出的向量跟<EOS>的独热向量的交叉熵越小越好.把标准答案提供给解码器,我们希望解码器的输出跟标准答案越接近越好.在训练时告诉解码器,在已经有 <BOS>、“机”的情况下输出“器”,在已经有 <BOS> 、“机”“器”的情况下输出“学”,在已经有 <BOS> 、“机”“器”“学”的情况下输出“习”,在已经有 <BOS> 、“机”“器”“学”“习”的情况下输出<EOS>.这种在训练解码器的情况下在输入时就提供标准答案的做法称为教师强制(teacher forcing).
参考来源
- 位置:《深度学习详解》第7章《Transformer》7.6 Transformer的训练过程(来源项目 book-source:`extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter07.xhtml`)
- 结论依据:原文以解码结构图及训练示例说明前缀、掩码、跨注意力和真实目标输入。
- 原始内容:如图7.29 所示,在实际训练的时候,输出应该是“机器学习”.编码器第次的输出应该分别是“机”“器”“学”“习”这4个中文汉字的独热向量,答案和这4个汉字的独热向量越接近越好.每一个输出和对应的标准答案都有一个交叉熵.图7.29 涉及4次分类,希望这些分类问题的交叉熵总和越小越好.解码器输出的并非只有“机器学习”这4个字,还有<EOS>.所以解码器的最终第5个位置输出的向量跟<EOS>的独热向量的交叉熵越小越好.把标准答案提供给解码器,我们希望解码器的输出跟标准答案越接近越好.在训练时告诉解码器,在已经有 <BOS>、“机”的情况下输出“器”,在已经有 <BOS> 、“机”“器”的情况下输出“学”,在已经有 <BOS> 、“机”“器”“学”的情况下输出“习”,在已经有 <BOS> 、“机”“器”“学”“习”的情况下输出<EOS>.这种在训练解码器的情况下在输入时就提供标准答案的做法称为教师强制(teacher forcing).