知识卡片
双流自注意力
标准Transformer做排列语言模型会丢失目标位置信息:模型不知道要预测的是哪个位置,导致某些排列下预测不同词的概率相同。XLNet用双流自注意力解决:查询流只包含待预测词的位置信息、不含其内容,用来产生该位置的预测;内容流同时携带位置与词内容,为查询流提供其他词的信息。初始化时内容流取词嵌入e(x_i),查询流取可学习向量W,随后逐层叠加。内容遮掩允许关注自身,查询遮掩则屏蔽对角线,防止待预测词的内容泄露答案。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第8章 BERT的优化方法 · 查看原书依据
如果采用标准的Transformer来构建排列语言模型,会出现没有目标位置信息的问题。问题的关键是模型并不知道要预测的到底是哪个位置的词,从而导致部分排列下的PLM在预测不同目标词时的概率是相同的。 为解决这个问题,XLNet引入了双流自注意力机制
参考来源
- 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第8章 BERT的优化方法(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter11_0001.xhtml)
- 结论依据:原文解释目标位置缺失问题并定义查询流与内容流及两种遮掩的区别,是本卡依据。
- 原始内容:如果采用标准的Transformer来构建排列语言模型,会出现没有目标位置信息的问题。问题的关键是模型并不知道要预测的到底是哪个位置的词,从而导致部分排列下的PLM在预测不同目标词时的概率是相同的。 为解决这个问题,XLNet引入了双流自注意力机制