知识卡片
样本顺序为何如此敏感
同一批示范换个排列,准确率可能从 54.3% 跳到 93.4%,这在多个模型上都出现过。原因是模型会把“最后一个示例”“相邻示例的标签”当成任务线索,于是产生多数标签偏差与新近偏差。
免训练排序法: - 按与测试输入的距离排序,最接近的放在最右侧; - 用全局/局部熵衡量排列的“信息量”,熵与 ICL 性能正相关,可直接挑熵最高的顺序; - PERO 用遗传算法搜索排列,并顺带学习分隔符词元; - 把“选子集并排序”视为压缩问题,用编码长度最短的排列。
实践提醒:增加模型规模或示例数量并不能消除排列间差异;同一顺序在一个模型上有效,换模型可能失效。验证集很小时,应主动选一个不让预测过度偏向某一类、也不让模型过度自信的顺序,并保证示例的相关性、多样性与一定随机性。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第5章 上下文学习和轻量级微调 · 查看原书依据
令人惊讶的是,即使是对训练样本进行简单的重新排列,也可能导致准确率发生巨大变化,从54.3%到接近先进水平的93.4%。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第5章《上下文学习和轻量级微调》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter7.xhtml)
- 结论依据:原文该段以「令人惊讶的是,即使是对训练样本进行简单的重新排列,也可能导致准确率发…」为中心展开,本卡的核心判断「同一批示范换个排列,准确率可能从 54.3% 跳到 93.4%,这在多个模型上都出现过。」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:令人惊讶的是,即使是对训练样本进行简单的重新排列,也可能导致准确率发生巨大变化,从54.3%到接近先进水平的93.4%。