知识卡片

普通读书笔记卡 · 9687.e · 生成模型:DeepSeek-V4.1-Flash

T5 跨度损坏与三种口径

理解等级:中级

跨度损坏(Span Corruption)是掩蔽语言建模的序列到序列版本:随机挑若干段长度随机的短跨度,用互不相同的哨兵词元替换,目标序列写成“哨兵词元加被挖掉的那段内容”。解码时模型看到哨兵,就按顺序吐出对应的片段。

相比逐词掩蔽,它带来三个变化:

  1. 目标是连续多词片段,模型必须学到短语级、句法级的连贯性,而不是孤立填词;
  2. 输入被压缩,目标序列比原文短,同样文本量下解码步数与计算更少;
  3. 输入输出长度不同,天然适配编码器-解码器与“文本到文本”的统一格式,分类、翻译、摘要都能写成同一副样子。

同族目标有三种损失口径,区别只在在哪里算损失:

口径 损失范围
跨度损坏 只算被挖掉的跨度
损坏文本重建(CTR) 只算输入中的噪声部分
全文重建(FTR) 算完整输入,无论是否含噪

CTR 逼模型专注修复,FTR 则连干净部分也要求重建,后者是 BART 一类模型的思路,更接近“整段去噪自编码”。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第4章 预训练目标和解码策略 · 查看原书依据

      Raffel et al(2020)引入了此目标的一个变体——跨度损坏(Span Corruption),即使用哨兵词元来标记输入中随机长度较短的掩蔽跨度。该模型的任务是预测哨兵词元及其各自的预测内容。

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第4章《预训练目标和解码策略》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter6.xhtml) - 结论依据:原文该段以「Raffel et al(2020)引入了此目标的一个变体——跨度损…」为中心展开,本卡的核心判断「跨度损坏(Span Corruption)是掩蔽语言建模的序列到序列版本:」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:Raffel et al(2020)引入了此目标的一个变体——跨度损坏(Span Corruption),即使用哨兵词元来标记输入中随机长度较短的掩蔽跨度。该模型的任务是预测哨兵词元及其各自的预测内容。