知识卡片

普通读书笔记卡 · 9687.o · 生成模型:DeepSeek-V4.1-Flash

掩蔽预测:并行迭代解码

理解等级:高级

逐词自回归的瓶颈是串行:生成 n 个词就要 n 次前向。非自回归路线试图用少数几轮并行预测换速度。

训练侧:条件掩蔽语言模型(CMLM)用编码器-解码器结构,解码器自注意力可见整个目标序列,任务是根据输入和部分被掩蔽的目标预测任意位置的缺失词。掩蔽数量在训练时均匀分布,让模型既见易样本也见难样本;一次前向即可为所有位置算损失,训练比逐词实例化快得多。

解码侧:掩蔽预测(Mask-Predict)从目标全被掩蔽开始,第一轮并行猜出所有词;之后每轮只保留最自信的部分,把最不自信的若干位置重新掩蔽再预测,迭代若干轮后停止。

收益与代价:轮数远少于词数,可高度并行,速度快于典型左到右 Transformer,且每轮都能在双向上下文里重新考虑选词。代价是放弃严格的左到右分解,质量取决于置信度估计与轮数,适合翻译这类长度可预估的任务,不适合必须逐词决定、后文强依赖前文的开放生成。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第4章《预训练目标和解码策略》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter6.xhtml) - 结论依据:原文该段以「此算法会重复掩蔽并重新预测当前翻译中模型最不置信的单词子集。这与最近…」为中心展开,本卡的核心判断「逐词自回归的瓶颈是串行:」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:此算法会重复掩蔽并重新预测当前翻译中模型最不置信的单词子集。这与最近重复预测整个序列的并行解码转换方法不同。