← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9857 · 生成模型:Hunyuan

排列语言模型

理解等级:高级

排列语言模型让自回归模型也能从双向上下文学习。给定序列,它枚举(实际是采样)词的不同排列顺序,把待预测词排在后面,使模型按自回归方式预测时既能看到它的上文也能看到下文,例如预测x3时可依据x1、x2与x4。这样既保留了自回归的联合概率建模,又避免了BERT的[MASK]在训练与测试不一致的问题。代价是完全排列数随序列长度阶乘爆炸:10个元素就有10!约362万种,因此实际只随机采样部分排列。XLNet据此在不引入人工掩码的前提下获得双向学习能力。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第8章 BERT的优化方法 · 查看原书依据

      假设有一个输入序列[x 1,x 2,x 3,x 4],根据排列语言模型,输入序列可以分解为多种排列方式,这样使用自回归模型预测x 3时,就可以同时看到其上文(x 1,x 2)和下文(x 4),如图8-1所示。

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第8章 BERT的优化方法(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter11_0001.xhtml) - 结论依据:原文以[x1,x2,x3,x4]说明排列让预测x3同时看到左右文,并指出10!计算量需采样,支撑本卡的机制与边界。 - 原始内容:假设有一个输入序列[x 1,x 2,x 3,x 4],根据排列语言模型,输入序列可以分解为多种排列方式,这样使用自回归模型预测x 3时,就可以同时看到其上文(x 1,x 2)和下文(x 4),如图8-1所示。