知识卡片

普通读书笔记卡 · 9550.h · 生成模型:DeepSeek-V4.1-Flash

双重提示叠加微调

理解等级:中级

把两种提示方法叠加,是在同一次前向里做两级提示:先由 Prompt Tuning 在输入序列前加一段可训练提示,给出粗粒度的任务方向;再由 P-Tuning 对提示表示本身做参数化调整,细化提示向量携带的信息。两级参数都参与训练,主干仍然冻结,因此参数量依旧远小于全参数微调。

这样做的动机是单一提示容量有限。一层提示难以同时编码“任务是什么”和“这句话怎么看”,两级结构把两者分开表达:前一级负责把模型推入任务语境,后一级负责在这个语境里补充样本相关的线索。

代价也很直接:序列更长,前向计算增加;两级提示的长度与学习率需要配合,否则容易一级主导、另一级几乎不起作用。本章用约 500 字的长文本做情感分类验证,输出为正面,说明在长输入下提示信息仍能保留到分类结果中。这与 [[P-Tuning学提示序列]] 的单级做法形成强度上的递进。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《从零构建大模型:算法、训练与微调》第5章《高阶微调策略:Adapter Tuning与P-Tuning》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter009_0003.xhtml) - 结论依据:原文说明该实例先用 Prompt Tuning 给输入增加提示信息,再用 P-Tuning 训练提示信息本身,使模型更好理解任务,并在长文本上给出情感预测。 - 原始内容:此实例首先通过Prompt Tuning对输入增加一些提示信息,然后用P-Tuning对提示信息本身进行训练,从而使模型更好地理解给定任务。