← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9668.d · 生成模型:DeepSeek-V4.1-Flash

PEFT的四种改法

理解等级:高级

共同前提:主干冻结,只训练一小块新增结构。差别在于加在哪里、加什么。

方法 加在哪 可训练对象 代价
软提示 输入嵌入之前 一段提示张量 占序列长度
前缀调优 每个 Transformer 块前 每层前缀张量 层数×前缀长
适配器 注意力/前馈之后 低维瓶颈全连接 推理多一层
LoRA 权重旁路 低秩分解矩阵 秩 r 的选择

LoRA 是关键一步:把权重更新写成 ΔW = W_A·W_B,其中 W_A 为 d×r、W_B 为 r×k,r 远小于 d、k。书中例子:25×50 的更新矩阵有 1250 个参数,取 r=5 后只剩 125+250=375 个。前向为 h = xW + x(W_A W_B)·scalar,scalar 调节预训练知识与新任务适配的比例。

为什么有效:任务适配所需的改动往往落在低维子空间里,用低秩近似就能覆盖大部分信息;训练完可把 W_A W_B 合并回 W,推理不增加延迟。代价:秩太小欠拟合、太大失去省参意义;合并后不便在同一份权重上切换多任务。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大模型技术30讲》第18讲 使用和微调预训练Transformer(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0024.xhtml) - 结论依据:18.3 节与图18-5~18-7、代码清单18-1/18-2:介绍软提示、前缀调优、适配器与 LoRA 的位置与参数效率,并给出 1250 个参数降为 375 个的例子与缩放因子。 - 原始内容:低秩自适应(LoRA)是另一种值得考虑且流行的参数高效的微调方法,它是指用低秩变换对预训练大模型的权重进行重新参数化。