← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9687.a · 生成模型:DeepSeek-V4.1-Flash

仅编码器为何被弃用

理解等级:高级

仅编码器模型(BERT 系)堆叠双向 Transformer 编码层,每个位置都能看见整句,表征质量好,但输出长度被输入长度锁死,要生成就必须外挂解码器或任务头,零样本场景几乎不可用,工程上已被逐渐放弃。

真正需要权衡的是仅解码器与编码器-解码器:

  • 参数效率:同等计算量下,编码器-解码器的参数量往往是仅解码器的两倍左右,因为它用两套独立参数分别处理输入和目标,还多出交叉注意力。
  • 归纳偏置:两者其实很接近。前者用不同参数独立建模输入与目标,模型更稀疏;后者把两段文本拼在一起,逐层同时构建表征。
  • 工程选择:可以从编码器-解码器出发,需要时砍掉解码器,反向操作则要重训。

结论是:没有充分理由就不要选仅编码器。前缀语言模型在单任务微调上已接近编码器-解码器,但采用者很少,属于可行却不流行的中间态。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第4章 预训练目标和解码策略 · 查看原书依据

      尽管存在这些细微的差异,但仅解码器模型和编码器-解码器模型的归纳偏置可能非常相似。一个关键的区别是,当计算量相当时,编码器-解码器模型的参数数量往往是仅解码器模型的两倍左右。

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第4章《预训练目标和解码策略》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter6.xhtml) - 结论依据:原文该段以「尽管存在这些细微的差异,但仅解码器模型和编码器-解码器模型的归纳偏置…」为中心展开,本卡的核心判断「仅编码器模型(BERT 系)堆叠双向 Transformer 编码层,每个位置都」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:尽管存在这些细微的差异,但仅解码器模型和编码器-解码器模型的归纳偏置可能非常相似。一个关键的区别是,当计算量相当时,编码器-解码器模型的参数数量往往是仅解码器模型的两倍左右。