← 返回卡片

原书出处

深度学习详解

10 自监督学习 10.1.1 BERT的使用方式

核验版本的摘录快照 · 导入于 2026-11-21T12:46:32.560Z

上述任务均不涉及 Seq2Seq 模型.如果想解决 Seq2Seq 问题,怎么办?BERT 只有预训练的编码器,有没有办法预训练Seq2Seq 模型的解码器呢?如图10.18 所示,这里有一个编码器和一个解码器.输入是一个句子,输出也是一个句子.将它们与中间的交叉注意力(cross attention)连接起来,然后对编码器的输入做一些扰动以损坏句子.解码器想要输出的句子跟损坏之前是完全相同的.编码器看到损坏的结果,解码器则输出句子被损坏之前的结果.

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter10.xhtml

EPUB SHA-256:35d2d4b7de742e0ce7756e7fb57c534014bf33cecdf0483a75e23cb7446cb7dc