知识卡片

普通读书笔记卡 · 9687.d · 生成模型:DeepSeek-V4.1-Flash

前缀语言建模的半双向

理解等级:中级

前缀语言建模(Prefix LM)在一条序列上使用两种掩蔽:前缀段内部非因果,段内词元互相可见;前缀之后的段因果,只能看左侧。损失只在前缀之后的词元上计算,前缀被当作已知条件而非预测目标。

它对应非因果仅解码器(Non-causal Decoder-only,ND)架构,做法是改写自注意力掩蔽,让“已知输入”区域不受因果限制。与编码器-解码器的区别是:只用一套参数,没有交叉注意力;输入与输出拼成同一条序列,逐层一起建表征。结构更简单,但两段文本的角色区分较弱。

与标准语言建模的区别在于,提示或指令这类前缀可以被双向编码——“把这段英文译成中文:……”中前半句的每个词都能看到整句指令。

边界:单任务微调时它几乎追平编码器-解码器,但生态与工具链都围绕纯因果模型建立,采用者一直很少;在提示范式下,纯因果模型加一句指令往往已经够用。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第4章《预训练目标和解码策略》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter6.xhtml) - 结论依据:原文该段以「这种方法通过定义前缀进行非因果调整。对模型进行训练,以预测前缀之外的…」为中心展开,本卡的核心判断「前缀语言建模(Prefix LM)在一条序列上使用两种掩蔽:」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:这种方法通过定义前缀进行非因果调整。对模型进行训练,以预测前缀之外的每个词元,同时考虑到前面的所有词元。这一预训练目标被称为前缀语言建模。