知识卡片

普通读书笔记卡 · 9688.q · 生成模型:DeepSeek-V4.1-Flash

适配器:窄瓶颈插层

理解等级:中级

在 Transformer 的注意力层与前馈网络(FFN)之后插入一个小型全连接模块:先降维再升维,中间维度远小于输入维度,形成瓶颈。训练时冻结原模型,只更新适配器。

参数效率:不到总参数的 4% 就能达到有竞争力的效果。后续发现只在自注意力层(归一化之后)插一个适配器,效果与每个模块插两个相近,进一步省参数。

AdaMix:把适配器做成专家混合——每层含一组专家,每次前向只激活一小部分;与常规 MoE 用路由网络加权不同,它随机选专家,且上、下投影独立选择。训练完把所有专家权重平均,推理只留一份,省显存;再用对称 KL 一致性正则稳定“选到不同专家”时的输出。

代价:适配器串行插在主干里,推理时无法完全消失,会带来额外延迟与显存;AdaMix 训练时还要保存两套专家前向的激活与梯度。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第5章 上下文学习和轻量级微调 · 查看原书依据

      与Transformer的FFN模块不同,适配器的隐藏维度通常比输入维度小。尽管维度缩小了,但适配器却表现出令人印象深刻的参数效率,表明只需要不到4%的模型总参数就可以实现具有竞争力的性能。

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第5章《上下文学习和轻量级微调》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter7.xhtml) - 结论依据:原文该段以「与Transformer的FFN模块不同,适配器的隐藏维度通常比输入…」为中心展开,本卡的核心判断「在 Transformer 的注意力层与前馈网络(FFN)之后插入一个小型全连接模块:」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:与Transformer的FFN模块不同,适配器的隐藏维度通常比输入维度小。尽管维度缩小了,但适配器却表现出令人印象深刻的参数效率,表明只需要不到4%的模型总参数就可以实现具有竞争力的性能。