← 返回刚才阅读的位置

知识卡片

结构图卡 · 9548.f · 生成模型:DeepSeek-V4.1-Flash

掩码填空的三步链路

理解等级:初级

训练好的掩码模型可以直接当作填空工具使用,推理链路只有三步:先把待补全的句子中缺失处写成掩码标记,编码成编号序列;再用位置比对找出掩码在序列中的下标;随后前向一次,取出该下标对应的词表分布,选概率最高的词;最后把这个词填回原句,得到完整句子。与训练阶段相比,差别在于不需要标签,也不计算损失,只做一次取最大值的解码。这条链路支撑了自动补全、文本纠错、标题补词等应用:补出的词由两侧上下文共同决定,因此同一空位在不同句子里会得到不同答案。需要留意的是,取最高概率只是最简单的解码策略,候选词之间的差距并不体现为置信度校准,见[[掩码的三种替换处理]]。

结构图:

graph TD
  A[带掩码的句子] --> B[编码并定位掩码下标]
  B --> C[前向得到词表分布]
  C --> D[取概率最高的词]
  D --> E[填回原句成完整标题]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • BERT模型核心实现与预训练 · 查看原书依据

      在文本处理任务中,基于BERT的掩码语言模型预训练方法,可用于填补句子中的缺失词语,从而进行上下文预测。这一技术在自动补全、纠错和语义分析等领域具有广泛应用,以下是一个与自动生成新闻标题相关的具体应用实例。

    参考来源

    - 位置:《从零构建大模型:算法、训练与微调》第3章《BERT模型核心实现与预训练》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter007_0002.xhtml) - 结论依据:原文以新闻标题补词为例,给出定义掩码位置、预测该位置词、生成完整标题三步,并附完整实现代码。 - 原始内容:在文本处理任务中,基于BERT的掩码语言模型预训练方法,可用于填补句子中的缺失词语,从而进行上下文预测。这一技术在自动补全、纠错和语义分析等领域具有广泛应用,以下是一个与自动生成新闻标题相关的具体应用实例。