知识卡片
UL2:一个模型多种去噪
混合去噪器(Mixture-of-Denoisers,MoD)把几种互相冲突的预训练目标塞进同一个模型,靠“告诉模型现在做哪种题”避免彼此干扰。
三种核心掩蔽策略构成难度梯度:
- R 去噪:掩蔽短跨度,接近 BERT 式填空,偏理解;
- S 去噪:补全缺失的连续文本,接近前缀补全,偏生成;
- X 去噪:极端的长跨度或高频掩蔽,逼模型重构长程结构。
每个输入前加一个范式词元,标明本条样本属于 R、S 还是 X,模型据此切换行为。这等于把任务编码进输入,一个权重承载多种能力,推理时也能靠选择范式词元引导风格。
结论值得注意:仅解码器模型上,跨度损坏在监督微调中最好、UL2 在单样本评估中最好,但两者差距不明显;编码器-解码器模型上 UL2 稳定优于跨度损坏。启发是混合目标并非万能增益,收益取决于架构与评估口径。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第4章 预训练目标和解码策略 · 查看原书依据
它采用了名为混合去噪器(Mixture-of-Denoisers,MoD)的预训练目标,结合了多种预训练范式。UL2使用的核心掩蔽策略有R去噪、S去噪和X去噪。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第4章《预训练目标和解码策略》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter6.xhtml)
- 结论依据:原文该段以「它采用了名为混合去噪器(Mixture-of-Denoisers,M…」为中心展开,本卡的核心判断「混合去噪器(Mixture-of-Denoisers,MoD)把几种互相冲突的预」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:它采用了名为混合去噪器(Mixture-of-Denoisers,MoD)的预训练目标,结合了多种预训练范式。UL2使用的核心掩蔽策略有R去噪、S去噪和X去噪。