知识卡片
T5 跨度损坏与三种口径
跨度损坏(Span Corruption)是掩蔽语言建模的序列到序列版本:随机挑若干段长度随机的短跨度,用互不相同的哨兵词元替换,目标序列写成“哨兵词元加被挖掉的那段内容”。解码时模型看到哨兵,就按顺序吐出对应的片段。
相比逐词掩蔽,它带来三个变化:
- 目标是连续多词片段,模型必须学到短语级、句法级的连贯性,而不是孤立填词;
- 输入被压缩,目标序列比原文短,同样文本量下解码步数与计算更少;
- 输入输出长度不同,天然适配编码器-解码器与“文本到文本”的统一格式,分类、翻译、摘要都能写成同一副样子。
同族目标有三种损失口径,区别只在在哪里算损失:
| 口径 | 损失范围 |
|---|---|
| 跨度损坏 | 只算被挖掉的跨度 |
| 损坏文本重建(CTR) | 只算输入中的噪声部分 |
| 全文重建(FTR) | 算完整输入,无论是否含噪 |
CTR 逼模型专注修复,FTR 则连干净部分也要求重建,后者是 BART 一类模型的思路,更接近“整段去噪自编码”。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第4章 预训练目标和解码策略 · 查看原书依据
Raffel et al(2020)引入了此目标的一个变体——跨度损坏(Span Corruption),即使用哨兵词元来标记输入中随机长度较短的掩蔽跨度。该模型的任务是预测哨兵词元及其各自的预测内容。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第4章《预训练目标和解码策略》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter6.xhtml)
- 结论依据:原文该段以「Raffel et al(2020)引入了此目标的一个变体——跨度损…」为中心展开,本卡的核心判断「跨度损坏(Span Corruption)是掩蔽语言建模的序列到序列版本:」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:Raffel et al(2020)引入了此目标的一个变体——跨度损坏(Span Corruption),即使用哨兵词元来标记输入中随机长度较短的掩蔽跨度。该模型的任务是预测哨兵词元及其各自的预测内容。