← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9548.e · 生成模型:DeepSeek-V4.1-Flash

负一百标记忽略非掩码位

理解等级:中级

掩码任务的标签并不铺满整句,只在被遮位置写入真实词编号,其余位置统一填 −100。这个数值不是普通标记,而是交叉熵损失约定的“忽略索引”:计算损失时,标签等于该值的位置被直接跳过,不产生梯度。这样一次前向虽然对每个位置都算了词表分布,真正被训练到的只有少数被遮位置,与掩码任务的目标精确对应。如果没有这个约定,模型会被要求还原所有未被遮的词,而那些词本来就在输入里,等于让它学复制,既浪费算力又削弱语义学习。标签与输出在序列维上逐位对齐,是这套做法能成立的前提;也正是这一点,让同一份输出可以同时服务训练与推理,见[[输出层铺满整个词表]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《从零构建大模型:算法、训练与微调》第3章《BERT模型核心实现与预训练》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter007_0001.xhtml) - 结论依据:原文在解析掩码标签时说明只有被遮位置有真实词,其余标为 −100 以忽略,使模型只预测掩码位置。 - 原始内容:(2)掩码标签:仅包含被遮掩的词的位置,其他位置标记为−100,以忽略不被遮掩的词,确保模型只对[MASK]位置进行预测。