知识卡片

普通读书笔记卡 · 9550.e · 生成模型:DeepSeek-V4.1-Flash

P-Tuning学提示序列

理解等级:中级

P-Tuning 同样只训练提示侧参数,但把提示组织成一段可训练的“提示序列”,而不是几句固定模板。它不直接改写用户输入的文字,而是在嵌入空间里生成若干提示向量,与输入嵌入拼接后一起进入模型,由训练决定这些向量表达什么。

相比手工设计模板,参数化提示不受自然语言措辞的限制,可以表达连续空间中的任务线索;相比只在序列开头放一小段提示,它对提示内部表示做了更细的建模,灵活性更高。两者都保持主干冻结,都只需要在嵌入层拼接并扩展掩码。

代价是可训练参数比纯 Prompt Tuning 多,提示长度与插入位置都要设定。序列过长会挤占真实输入的可用长度,也会增加前向计算;参数变多则意味着小样本下更容易过拟合。因此它更适合任务形态明确、样本量尚可的场景,而不是追求极致参数量的场合。与 [[冻结主干只训软提示]] 的分工,正好对应“提示够不够用”这一判断。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 高阶微调策略:Adapter Tuning与P-Tuning · 查看原书依据

      P-Tuning是一种基于可训练参数的提示生成方法,通过在输入中插入一些可训练的Prompt嵌入,来增强模型对任务的适应能力。与Prompt Tuning不同,P-Tuning并不直接调整文本输入,而是通过嵌入参数化的“提示序列”模型,实现更灵活的适应性。

    参考来源

    - 位置:《从零构建大模型:算法、训练与微调》第5章《高阶微调策略:Adapter Tuning与P-Tuning》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter009_0003.xhtml) - 结论依据:原文对比指出 P-Tuning 不直接调整文本输入,而是通过嵌入参数化的提示序列获得更灵活的适应性,并在前向中把提示嵌入与输入序列拼接。 - 原始内容:P-Tuning是一种基于可训练参数的提示生成方法,通过在输入中插入一些可训练的Prompt嵌入,来增强模型对任务的适应能力。与Prompt Tuning不同,P-Tuning并不直接调整文本输入,而是通过嵌入参数化的“提示序列”模型,实现更灵活的适应性。