知识卡片
MiM:前后向互相校准
中间相遇(MiM)用两个方向的语言模型同时训练:前向模型根据前缀预测下一个词元,后向模型根据后缀预测上一个词元,两者共享全部参数,没有额外参数开销。
损失由两部分组成:两侧负对数似然之和,以及一致性正则——对每个位置比较前向与后向在词表上的概率分布,用总变异距离度量分歧,把所有句子、所有位置的距离求和,权重取 0.1。
为什么要这一项:单侧自回归在每个位置只有一个监督信号;两个方向对同一位置给出两个预测,一致性项要求它们彼此靠拢,等于提供更密的监督,提升数据效率。这与双向 LSTM 拼接两个方向隐状态不同——MiM 不拼隐状态,而是要求两个方向的预测一致。
使用方式:预训练后前向模型直接充当常规左到右语言模型,后向模型可丢弃或用于填充类任务。两模型各只需生成一半序列,并行度好时甚至快于双向 LSTM。代价是流程更复杂,一致性权重需要调。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第4章 预训练目标和解码策略 · 查看原书依据
前向语言模型和后向语言模型生成相反方向的词元。前向语言模型根据前缀及其生成的词元预测下一个词元,而后向语言模型根据后缀及其生成的词元预测上一个词元。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第4章《预训练目标和解码策略》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter6.xhtml)
- 结论依据:原文该段以「前向语言模型和后向语言模型生成相反方向的词元。前向语言模型根据前缀及…」为中心展开,本卡的核心判断「中间相遇(MiM)用两个方向的语言模型同时训练:」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:前向语言模型和后向语言模型生成相反方向的词元。前向语言模型根据前缀及其生成的词元预测下一个词元,而后向语言模型根据后缀及其生成的词元预测上一个词元。