知识卡片

普通读书笔记卡 · 9856.h · 生成模型:Hunyuan

GPT-2多头与遮掩注意力

理解等级:高级

BERT的多头注意力可同时关注某词左右两侧,GPT-2则用遮掩多头注意力,只允许关注词的右侧即自身与前文,这是两者最本质的区别。GPT-2输入由两个权重矩阵决定:词嵌入矩阵记录所有标识符,位置编码矩阵记录上下文位置;因位置编码不是学习向量,在各层Decoder中保持不变。计算遮掩自注意力时,先为每个词乘WQ、WK、WV得到Q、K、V,再算Q对各K的分数,乘以一个下三角矩阵把未来位置遮掉,经Softmax后加权求和;最后一层输出再乘词嵌入矩阵并Softmax得到词表分布,用top取值得到预测词。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第7章 从ELMo到BERT和GPT(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter10_0004.xhtml) - 结论依据:原文分别说明BERT与GPT-2多头关注范围之别、GPT-2两个输入矩阵及非学习位置编码、遮掩自注意力五步计算与输出方式,直接支撑本卡。 - 原始内容:BERT使用多头注意力,可以同时从某词的左右两边进行关注。而GPT-2采用遮掩多头注意力,只能关注词的右边,如图7-14所示。