原书出处
深度学习详解
07 Transformer 7.6 Transformer的训练过程
如图7.29 所示,在实际训练的时候,输出应该是“机器学习”.编码器第次的输出应该分别是“机”“器”“学”“习”这4个中文汉字的独热向量,答案和这4个汉字的独热向量越接近越好.每一个输出和对应的标准答案都有一个交叉熵.图7.29 涉及4次分类,希望这些分类问题的交叉熵总和越小越好.解码器输出的并非只有“机器学习”这4个字,还有<EOS>.所以解码器的最终第5个位置输出的向量跟<EOS>的独热向量的交叉熵越小越好.把标准答案提供给解码器,我们希望解码器的输出跟标准答案越接近越好.在训练时告诉解码器,在已经有 <BOS>、“机”的情况下输出“器”,在已经有 <BOS> 、“机”“器”的情况下输出“学”,在已经有 <BOS> 、“机”“器”“学”的情况下输出“习”,在已经有 <BOS> 、“机”“器”“学”“习”的情况下输出<EOS>.这种在训练解码器的情况下在输入时就提供标准答案的做法称为教师强制(teacher forcing).
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter07.xhtml
EPUB SHA-256:35d2d4b7de742e0ce7756e7fb57c534014bf33cecdf0483a75e23cb7446cb7dc