← 返回刚才阅读的位置

知识卡片

结构图卡 · 9550.f · 生成模型:DeepSeek-V4.1-Flash

提示向量如何拼入输入

理解等级:高级

提示微调的输入由两段向量拼成:一段是真实 token 经嵌入层得到的向量,另一段是可训练参数直接给出的提示向量。二者在序列维度上拼接,形成比原输入更长的嵌入序列,再配上同步扩展的注意力掩码送入编码器。

拼接位置决定提示的作用方式。放在序列最前面,相当于给整句一个任务前缀,影响所有后续位置;插在中间,则更接近填空式引导,让提示与上下文交替出现。由于提示向量不来自词表,它没有对应的 token id,只能在嵌入层之后接入——这正是它与“手工写提示词”在实现上的根本差别。

工程上有三个必须对齐的点:提示长度固定、批内按 batch 扩展、掩码与序列等长。漏掉任何一条,提示位置都会被当作填充,梯度传不回提示参数。这条链路也解释了为什么 [[提示掩码为何必须扩展]] 不是可选优化,而是流程的一部分,可与 [[P-Tuning学提示序列]] 对照。

结构图:

flowchart LR
    A[输入token] --> B[词嵌入]
    P[可训练提示嵌入] --> C[序列拼接]
    B --> C
    C --> D[扩展注意力掩码]
    D --> E[BERT编码]
    E --> F[分类输出]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《从零构建大模型:算法、训练与微调》第5章《高阶微调策略:Adapter Tuning与P-Tuning》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter009_0003.xhtml) - 结论依据:原文说明 Prompt 嵌入加在输入嵌入部分之前,并与注意力掩码对齐;P-Tuning 部分则把提示嵌入添加到输入嵌入序列之中再前向。 - 原始内容:(2)BertWithPromptTuning:在BERT模型的输入嵌入部分前加上Prompt嵌入,使模型可以学习任务特定的提示。为了与Prompt对齐,扩展了注意力掩码。