知识卡片
GPT-2单向Transformer
GPT-2 与 BERT 的根本差别在注意力的可见范围。BERT 用双向 Transformer,计算某个被遮掩词时会同时看它左右两侧的上下文;GPT-2 用单向(因果)Transformer,预测某个位置时只允许左侧的词参与,右侧尚未生成的内容被遮蔽。这个自回归约束使 GPT-2 天然适合“给定开头、续写后续”的生成任务,而不适合完形填空式的理解任务。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第15章 用GPT-2生成文本 · 查看原书依据
这里的双向是指在进行注意力计算时,BERT会同时考虑左右两边的词对被遮掩的词的影响,而单向是说GPT-2只会考虑在待预测词位置左侧的词对其的影响。
参考来源
- 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第15章 用GPT-2生成文本(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter19.xhtml)
- 结论依据:章首导语对比 BERT 的双向与 GPT-2 的单向,并明确以“只看待预测词左侧的词”来定义单向。
- 原始内容:这里的双向是指在进行注意力计算时,BERT会同时考虑左右两边的词对被遮掩的词的影响,而单向是说GPT-2只会考虑在待预测词位置左侧的词对其的影响。