知识卡片

结构图卡 · 9548.c · 生成模型:DeepSeek-V4.1-Flash

掩码预测作为预训练任务

理解等级:中级

掩码语言模型把输入本身当作标签,构造出一个不需要人工标注的训练任务。流程是:取一段文本,按比例随机挑出部分位置,把这些词换成遮掩标记或做其他替换;整句送入编码器堆叠,每个位置都输出一个向量;输出层把向量映射到词表大小,得到该位置填哪个词的概率分布;最后只在这些被挑中的位置上与真实词计算交叉熵,其余位置不参与损失。于是模型必须依靠左右两侧的线索去还原缺失词,双向语义在反复填空中被压进参数。这个设计的边界也很清楚:遮掩太少,监督信号稀疏,训练慢;遮掩太多,上下文被削得所剩无几,任务退化成猜词。比例需要权衡,替换方式也需要搭配,见[[掩码的三种替换处理]]。

结构图:

graph TD
  A[原始文本] --> B[按比例随机遮掩]
  B --> C[编码器堆叠]
  C --> D[掩码位置的向量]
  D --> E[整词表打分分布]
  E --> F[与真实词比对求损失]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • BERT模型核心实现与预训练 · 查看原书依据

      MLM是BERT模型的核心预训练任务。通过在输入文本中随机遮掩部分词语并让模型预测这些词,模型能够有效地学习词的上下文语义。MLM任务的设计使模型能够在没有标签的海量文本上进行自监督训练,逐步掌握词与词之间的复杂关系。

    参考来源

    - 位置:《从零构建大模型:算法、训练与微调》第3章《BERT模型核心实现与预训练》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter007_0002.xhtml) - 结论依据:原文将 MLM 定义为核心预训练任务,说明其通过随机遮掩并预测被遮词,在无标签海量文本上完成自监督训练。 - 原始内容:MLM是BERT模型的核心预训练任务。通过在输入文本中随机遮掩部分词语并让模型预测这些词,模型能够有效地学习词的上下文语义。MLM任务的设计使模型能够在没有标签的海量文本上进行自监督训练,逐步掌握词与词之间的复杂关系。