← 返回卡片

原书出处

深度学习详解

10 自监督学习 10.2 GPT

核验版本的摘录快照 · 导入于 2026-11-21T12:46:32.560Z

我们实际上不会只用一个句子训练GPT,而是用成千上万个句子来训练GPT.GPT建立在Transformer解码器的基础上,不过GPT会做掩码注意力,在给定<BOS>预测“深”的时候,GPT不会看到接下来出现的词元.给GPT“深”要预测“度”的时候,GPT也不会看到接下来将要输入的词元,以此类推.因为GPT可以预测下一个词元,所以它有生成的能力,从而不断地预测下一个词元,产生一篇完整的文章.

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter10.xhtml

EPUB SHA-256:35d2d4b7de742e0ce7756e7fb57c534014bf33cecdf0483a75e23cb7446cb7dc