知识卡片

普通读书笔记卡 · 9550.d · 生成模型:DeepSeek-V4.1-Flash

冻结主干只训软提示

理解等级:中级

Prompt Tuning 把可训练参数从模型内部搬到输入端:主干权重完全冻结,只为一小段“软提示”学习嵌入向量。这段提示不是人写的文字,而是一组直接可训练的连续向量,长度是事先设定的超参数。

前向时,提示嵌入拼在输入词嵌入之前,一起送入编码器,反向传播只更新提示那部分参数,模型本身一个权重都不动。因此每个任务只需要保存一份很短的向量,切换任务时换提示即可,多任务共用一个主干的成本极低。

它的限制来自容量。提示长度决定了可学习信息的多少,任务越复杂,越依赖这段向量能否编码足够线索;长度增加又会挤占输入长度并抬高计算。此外,提示位置在嵌入层之后,没有对应的 token id,必须配合掩码扩展才能生效,这一点见 [[提示掩码为何必须扩展]]。若希望提示本身也被参数化建模,则走向 [[P-Tuning学提示序列]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《从零构建大模型:算法、训练与微调》第5章《高阶微调策略:Adapter Tuning与P-Tuning》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter009_0003.xhtml) - 结论依据:原文明确 Prompt Tuning 保持模型权重不变、仅优化输入提示,并通过可训练的 Prompt 嵌入加到序列开头来学习任务特征。 - 原始内容:Prompt Tuning是一种通过调整输入提示(Prompt)来引导模型更准确地理解任务的微调方法。在Prompt Tuning中,模型的权重保持不变,微调仅涉及对输入提示进行优化。