知识卡片
负一百标记忽略非掩码位
掩码任务的标签并不铺满整句,只在被遮位置写入真实词编号,其余位置统一填 −100。这个数值不是普通标记,而是交叉熵损失约定的“忽略索引”:计算损失时,标签等于该值的位置被直接跳过,不产生梯度。这样一次前向虽然对每个位置都算了词表分布,真正被训练到的只有少数被遮位置,与掩码任务的目标精确对应。如果没有这个约定,模型会被要求还原所有未被遮的词,而那些词本来就在输入里,等于让它学复制,既浪费算力又削弱语义学习。标签与输出在序列维上逐位对齐,是这套做法能成立的前提;也正是这一点,让同一份输出可以同时服务训练与推理,见[[输出层铺满整个词表]]。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- BERT模型核心实现与预训练 · 查看原书依据
(2)掩码标签:仅包含被遮掩的词的位置,其他位置标记为−100,以忽略不被遮掩的词,确保模型只对[MASK]位置进行预测。
参考来源
- 位置:《从零构建大模型:算法、训练与微调》第3章《BERT模型核心实现与预训练》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter007_0001.xhtml)
- 结论依据:原文在解析掩码标签时说明只有被遮位置有真实词,其余标为 −100 以忽略,使模型只预测掩码位置。
- 原始内容:(2)掩码标签:仅包含被遮掩的词的位置,其他位置标记为−100,以忽略不被遮掩的词,确保模型只对[MASK]位置进行预测。