原书出处
深度学习详解
10 自监督学习 10.2 GPT
我们实际上不会只用一个句子训练GPT,而是用成千上万个句子来训练GPT.GPT建立在Transformer解码器的基础上,不过GPT会做掩码注意力,在给定<BOS>预测“深”的时候,GPT不会看到接下来出现的词元.给GPT“深”要预测“度”的时候,GPT也不会看到接下来将要输入的词元,以此类推.因为GPT可以预测下一个词元,所以它有生成的能力,从而不断地预测下一个词元,产生一篇完整的文章.
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter10.xhtml
EPUB SHA-256:35d2d4b7de742e0ce7756e7fb57c534014bf33cecdf0483a75e23cb7446cb7dc