知识卡片
因果语言模型预测下一词元
GPT 类因果语言模型根据已有前缀预测下一个词元,以注意力掩码防止位置访问未来词元;生成时不断把新词元加入前缀并重复预测。训练目标是预测序列,具体下游能力仍需通过任务评测验证。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 自监督学习 10.2 GPT · 查看原书依据
我们实际上不会只用一个句子训练GPT,而是用成千上万个句子来训练GPT.GPT建立在Transformer解码器的基础上,不过GPT会做掩码注意力,在给定<BOS>预测“深”的时候,GPT不会看到接下来出现的词元.给GPT“深”要预测“度”的时候,GPT也不会看到接下来将要输入的词元,以此类推.因为GPT可以预测下一个词元,所以它有生成的能力,从而不断地预测下一个词元,产生一篇完整的文章.
参考来源
- 位置:《深度学习详解》第10章《自监督学习》10.2 GPT(来源项目 book-source:`extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter10.xhtml`)
- 结论依据:原文说明预训练任务、模型迁移和下游用法;结论保留数据与任务条件。
- 原始内容:我们实际上不会只用一个句子训练GPT,而是用成千上万个句子来训练GPT.GPT建立在Transformer解码器的基础上,不过GPT会做掩码注意力,在给定<BOS>预测“深”的时候,GPT不会看到接下来出现的词元.给GPT“深”要预测“度”的时候,GPT也不会看到接下来将要输入的词元,以此类推.因为GPT可以预测下一个词元,所以它有生成的能力,从而不断地预测下一个词元,产生一篇完整的文章.