知识卡片
无数据也能校准提示
校准的目标是纠正“某个答案天生更容易被选中”的偏移。常规做法需要标注数据来学一个映射,但零样本/少样本场景恰恰没有数据。
无内容输入:给模型一个不含实际内容的输入(“N/A”、空字符串、乱码词元),理想情况下各选项概率应大致均匀。例如二分类情感提示输入“N/A”,理想输出是 50% 正面、50% 负面,实测却是 61.8% 正面——这个偏离就是偏差的估计。
仿射校正:用对角权重矩阵 W 与偏置 b 对输出概率做变换。W 取无内容输入概率向量的反对角矩阵,b 取零向量;预测时取变换后的最大值。把 W 限制为对角阵(向量缩放)可避免参数随词表大小二次增长,也便于求逆;偏置近似为常数平移,因此无需非线性函数。
工程细节:通常只校准第一个词元,因为它决定后续生成;无内容输入可平均“N/A”“[MASK]”和空串三种,也可按任务定制(如 LAMA 中用“N/A is born in”)。整套方法只需几行代码。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第5章 上下文学习和轻量级微调 · 查看原书依据
Zhao等建议通过设置W和b来纠正此错误,以便使无内容输入的分类得分保持一致。权重矩阵设置为无内容输入的概率集的反对角线矩阵
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第5章《上下文学习和轻量级微调》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter7.xhtml)
- 结论依据:原文该段以「Zhao等建议通过设置W和b来纠正此错误,以便使无内容输入的分类得分…」为中心展开,本卡的核心判断「校准的目标是纠正“某个答案天生更容易被选中”的偏移。」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:Zhao等建议通过设置W和b来纠正此错误,以便使无内容输入的分类得分保持一致。权重矩阵设置为无内容输入的概率集的反对角线矩阵