← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9688.m · 生成模型:DeepSeek-V4.1-Flash

提示敏感与三类偏差

理解等级:中级

同一模型、同一批数据,只改提示措辞、示例顺序或答案格式,GPT-3 的情感分析准确率就能从 54.3% 波动到 93.4%。这不是随机噪声,而是系统性偏移。研究把它归为三类偏差:

  • 多数标签偏差:示例里某一类占多数时,模型倾向于预测该类;
  • 重复性偏差:模型倾向于重复提示中出现过的词或答案;
  • 常见词元偏差:某些高频词元本身更容易被生成。

三者叠加,表现为整个输出分布被平移了一个常数,而不是被任意扭曲。这个观察很关键:如果偏差只是平移,就不需要复杂非线性校正,用一个仿射变换把分布拉回即可。

实践含义:报告 ICL 结果时必须同时给出提示模板与示例顺序;在小验证集上比较多个模板,比反复调一个模板更可靠。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第5章《上下文学习和轻量级微调》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter7.xhtml) - 结论依据:原文该段以「Zhao等随后深入研究了GPT-3模型不稳定的原因,确定了导致准确率…」为中心展开,本卡的核心判断「同一模型、同一批数据,只改提示措辞、示例顺序或答案格式,GPT-3 的情感分析准」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:Zhao等随后深入研究了GPT-3模型不稳定的原因,确定了导致准确率差异的3个潜在偏差——多数标签偏差、重复性偏差和常见词元偏差。