知识卡片
序列到序列去噪预训练
编码器—解码器可对原始文本施加遮盖、删除或打乱等扰动,训练解码器恢复未损坏的文本。这样预训练的不只是编码器,还包括生成所需的解码器与交叉注意力,可作为下游生成任务初始化。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 自监督学习 10.1.1 BERT的使用方式 · 查看原书依据
上述任务均不涉及 Seq2Seq 模型.如果想解决 Seq2Seq 问题,怎么办?BERT 只有预训练的编码器,有没有办法预训练Seq2Seq 模型的解码器呢?如图10.18 所示,这里有一个编码器和一个解码器.输入是一个句子,输出也是一个句子.将它们与中间的交叉注意力(cross attention)连接起来,然后对编码器的输入做一些扰动以损坏句子.解码器想要输出的句子跟损坏之前是完全相同的.编码器看到损坏的结果,解码器则输出句子被损坏之前的结果.
参考来源
- 位置:《深度学习详解》第10章《自监督学习》10.1.1 BERT的使用方式(来源项目 book-source:`extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter10.xhtml`)
- 结论依据:原文说明预训练任务、模型迁移和下游用法;结论保留数据与任务条件。
- 原始内容:上述任务均不涉及 Seq2Seq 模型.如果想解决 Seq2Seq 问题,怎么办?BERT 只有预训练的编码器,有没有办法预训练Seq2Seq 模型的解码器呢?如图10.18 所示,这里有一个编码器和一个解码器.输入是一个句子,输出也是一个句子.将它们与中间的交叉注意力(cross attention)连接起来,然后对编码器的输入做一些扰动以损坏句子.解码器想要输出的句子跟损坏之前是完全相同的.编码器看到损坏的结果,解码器则输出句子被损坏之前的结果.