← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9550.g · 生成模型:DeepSeek-V4.1-Flash

提示掩码为何必须扩展

理解等级:高级

注意力掩码标记哪些位置是真实输入、哪些是填充。提示向量拼进序列后序列变长,如果掩码仍按原长度生成,新增的提示位置就会被标成无效,模型在自注意力中看不到它们,提示参数也就拿不到有效梯度。

正确做法是把掩码一并扩展:为提示预留的位置补上有效标记,再与原始掩码拼接,使掩码长度与新序列严格对齐;批处理时还要把提示部分扩展到与 batch 相同的维度,避免形状不匹配。这一步不改变模型结构,却决定提示微调是否真的生效。

很多“提示训练不收敛”的现象,根源不在学习率,而在序列与掩码不同步:模型看到的是被截断的输入,提示等于不存在。把它放回流程看,[[提示向量如何拼入输入]] 是拼接,掩码扩展是让拼接结果被承认,二者缺一不可。Adapter 与 LoRA 不改输入长度,因此不存在这个问题,这也是提示类方法特有的工程成本。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《从零构建大模型:算法、训练与微调》第5章《高阶微调策略:Adapter Tuning与P-Tuning》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter009_0003.xhtml) - 结论依据:原文在 P-Tuning 的模型说明中指出,提示嵌入被加入输入序列后,需用扩展后的注意力掩码确保提示部分得到有效关注。 - 原始内容:(2)BertWithPTuning:集成BERT模型和P-Tuning模块,先将Prompt嵌入添加到输入嵌入序列之中,再进行BERT的前向传播。扩展后的注意力掩码确保Prompt部分得到有效关注。