知识卡片

普通读书笔记卡 · 9861.p · 生成模型:Hunyuan

带掩码的交叉熵损失

理解等级:中级

loss_function用SparseCategoricalCrossentropy(from_logits=True, reduction=‘none’)逐位置算交叉熵,再用1-equal(real,0)构造掩码,把位置的损失置零,最后仅对非填充位置求均值。这样处理是因为批次里句子长短不一、补0位置并非真实标签,若参与平均会稀释并误导梯度。train_loss与train_accuracy分别用Mean与SparseCategoricalAccuracy累计,每轮训练前重置。边界在于reduction必须为’none’才能逐元素masking,from_logits=True才与模型直接输出的logits匹配。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第12章 用Transformer实现英译中(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter16_0004.xhtml) - 结论依据:原文代码先把非0位置视为1,再令loss_乘以mask,只计算非<pad>位置的损失。 - 原始内容:# 计算所有位置的交叉熵,但不汇总 loss_ = loss_object(real, pred) mask = tf.cast(mask, dtype=loss_.dtype) loss_ *= mask