知识卡片
掩码的三种替换处理
随机遮掩并不只有一种动作。对被选中的位置,实际有三种处理:替换为遮掩标记、保留原词不动、换成词表里的另一个随机词。三者按概率混合,各有分工。全用遮掩标记会带来一个隐患:预训练时输入里到处是标记,微调时却一个都没有,模型学到的“看到标记就填词”在下游用不上,形成预训练与微调之间的错配。保留部分原词,让模型无法只靠标记判断哪里需要预测,必须真正依赖上下文;随机替换则注入错误信息,迫使模型在噪声中仍给出正确判断,提升鲁棒性。三者的配比决定训练难度与信号密度,比例失衡会让任务过易或过难,见[[掩码预测作为预训练任务]]。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- BERT模型核心实现与预训练 · 查看原书依据
随机遮掩的关键在于,基于特定概率将部分词替换为[MASK]标记,同时保留部分词的原始信息,或随机替换为其他词。在此过程中,模型需要通过周围词语推测被遮掩的词,从而在语境中强化对词的理解。
参考来源
- 位置:《从零构建大模型:算法、训练与微调》第3章《BERT模型核心实现与预训练》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter007_0002.xhtml)
- 结论依据:原文在讲随机遮掩时列出替换为掩码标记、保留原词、随机替换三种做法,并说明模型需靠周围词语推测被遮词。
- 原始内容:随机遮掩的关键在于,基于特定概率将部分词替换为[MASK]标记,同时保留部分词的原始信息,或随机替换为其他词。在此过程中,模型需要通过周围词语推测被遮掩的词,从而在语境中强化对词的理解。