知识卡片
掩蔽预测:并行迭代解码
逐词自回归的瓶颈是串行:生成 n 个词就要 n 次前向。非自回归路线试图用少数几轮并行预测换速度。
训练侧:条件掩蔽语言模型(CMLM)用编码器-解码器结构,解码器自注意力可见整个目标序列,任务是根据输入和部分被掩蔽的目标预测任意位置的缺失词。掩蔽数量在训练时均匀分布,让模型既见易样本也见难样本;一次前向即可为所有位置算损失,训练比逐词实例化快得多。
解码侧:掩蔽预测(Mask-Predict)从目标全被掩蔽开始,第一轮并行猜出所有词;之后每轮只保留最自信的部分,把最不自信的若干位置重新掩蔽再预测,迭代若干轮后停止。
收益与代价:轮数远少于词数,可高度并行,速度快于典型左到右 Transformer,且每轮都能在双向上下文里重新考虑选词。代价是放弃严格的左到右分解,质量取决于置信度估计与轮数,适合翻译这类长度可预估的任务,不适合必须逐词决定、后文强依赖前文的开放生成。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第4章 预训练目标和解码策略 · 查看原书依据
此算法会重复掩蔽并重新预测当前翻译中模型最不置信的单词子集。这与最近重复预测整个序列的并行解码转换方法不同。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第4章《预训练目标和解码策略》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter6.xhtml)
- 结论依据:原文该段以「此算法会重复掩蔽并重新预测当前翻译中模型最不置信的单词子集。这与最近…」为中心展开,本卡的核心判断「逐词自回归的瓶颈是串行:」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:此算法会重复掩蔽并重新预测当前翻译中模型最不置信的单词子集。这与最近重复预测整个序列的并行解码转换方法不同。