知识卡片
提示向量如何拼入输入
提示微调的输入由两段向量拼成:一段是真实 token 经嵌入层得到的向量,另一段是可训练参数直接给出的提示向量。二者在序列维度上拼接,形成比原输入更长的嵌入序列,再配上同步扩展的注意力掩码送入编码器。
拼接位置决定提示的作用方式。放在序列最前面,相当于给整句一个任务前缀,影响所有后续位置;插在中间,则更接近填空式引导,让提示与上下文交替出现。由于提示向量不来自词表,它没有对应的 token id,只能在嵌入层之后接入——这正是它与“手工写提示词”在实现上的根本差别。
工程上有三个必须对齐的点:提示长度固定、批内按 batch 扩展、掩码与序列等长。漏掉任何一条,提示位置都会被当作填充,梯度传不回提示参数。这条链路也解释了为什么 [[提示掩码为何必须扩展]] 不是可选优化,而是流程的一部分,可与 [[P-Tuning学提示序列]] 对照。
结构图:
flowchart LR
A[输入token] --> B[词嵌入]
P[可训练提示嵌入] --> C[序列拼接]
B --> C
C --> D[扩展注意力掩码]
D --> E[BERT编码]
E --> F[分类输出]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 高阶微调策略:Adapter Tuning与P-Tuning · 查看原书依据
(2)BertWithPromptTuning:在BERT模型的输入嵌入部分前加上Prompt嵌入,使模型可以学习任务特定的提示。为了与Prompt对齐,扩展了注意力掩码。
参考来源
- 位置:《从零构建大模型:算法、训练与微调》第5章《高阶微调策略:Adapter Tuning与P-Tuning》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter009_0003.xhtml)
- 结论依据:原文说明 Prompt 嵌入加在输入嵌入部分之前,并与注意力掩码对齐;P-Tuning 部分则把提示嵌入添加到输入嵌入序列之中再前向。
- 原始内容:(2)BertWithPromptTuning:在BERT模型的输入嵌入部分前加上Prompt嵌入,使模型可以学习任务特定的提示。为了与Prompt对齐,扩展了注意力掩码。