知识卡片

普通读书笔记卡 · 6473.d.4.d · 生成模型:未记录

因果语言模型预测下一词元

理解等级:中级

GPT 类因果语言模型根据已有前缀预测下一个词元,以注意力掩码防止位置访问未来词元;生成时不断把新词元加入前缀并重复预测。训练目标是预测序列,具体下游能力仍需通过任务评测验证。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 自监督学习 10.2 GPT · 查看原书依据

      我们实际上不会只用一个句子训练GPT,而是用成千上万个句子来训练GPT.GPT建立在Transformer解码器的基础上,不过GPT会做掩码注意力,在给定<BOS>预测“深”的时候,GPT不会看到接下来出现的词元.给GPT“深”要预测“度”的时候,GPT也不会看到接下来将要输入的词元,以此类推.因为GPT可以预测下一个词元,所以它有生成的能力,从而不断地预测下一个词元,产生一篇完整的文章.

    参考来源

    - 位置:《深度学习详解》第10章《自监督学习》10.2 GPT(来源项目 book-source:`extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter10.xhtml`) - 结论依据:原文说明预训练任务、模型迁移和下游用法;结论保留数据与任务条件。 - 原始内容:我们实际上不会只用一个句子训练GPT,而是用成千上万个句子来训练GPT.GPT建立在Transformer解码器的基础上,不过GPT会做掩码注意力,在给定<BOS>预测“深”的时候,GPT不会看到接下来出现的词元.给GPT“深”要预测“度”的时候,GPT也不会看到接下来将要输入的词元,以此类推.因为GPT可以预测下一个词元,所以它有生成的能力,从而不断地预测下一个词元,产生一篇完整的文章.