← 返回卡片

原书出处

深度学习详解

10 自监督学习 10.2 GPT

核验版本的摘录快照 · 导入于 2026-11-21T12:46:32.560Z

假设要GPT做翻译,如图10.36(a) 所示,先输入“把英文翻译成法文”(Translate English to French),这个句子代表问题的描述. 然后给出几个例子,接下来输入cheese,让GPT把后面的内容补完.在训练的时候,我们并没有教GPT做翻译这件事,GPT唯一学到的就是在给了一段文字的前半段后,如何把后半段补完.现在直接给GPT前半段的文字,让它翻译.再给几个例子,告诉GPT翻译是怎么回事. 接下来输入cheese,后面能不能就直接得到法文的翻译结果呢?GPT中的小样本学习不是一般的学习,这里面完全没有梯度下降,训练的时候要做梯度下降,而GPT中完全没有梯度下降,也完全没有要调模型参数的意思. 这种训练称为语境学习(in-context learning),它不是一般的学习,它连梯度下降都没有做.

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter10.xhtml

EPUB SHA-256:35d2d4b7de742e0ce7756e7fb57c534014bf33cecdf0483a75e23cb7446cb7dc