知识卡片

普通读书笔记卡 · 9688.e · 生成模型:DeepSeek-V4.1-Flash

样本顺序为何如此敏感

理解等级:中级

同一批示范换个排列,准确率可能从 54.3% 跳到 93.4%,这在多个模型上都出现过。原因是模型会把“最后一个示例”“相邻示例的标签”当成任务线索,于是产生多数标签偏差与新近偏差。

免训练排序法: - 按与测试输入的距离排序,最接近的放在最右侧; - 用全局/局部熵衡量排列的“信息量”,熵与 ICL 性能正相关,可直接挑熵最高的顺序; - PERO 用遗传算法搜索排列,并顺带学习分隔符词元; - 把“选子集并排序”视为压缩问题,用编码长度最短的排列。

实践提醒:增加模型规模或示例数量并不能消除排列间差异;同一顺序在一个模型上有效,换模型可能失效。验证集很小时,应主动选一个不让预测过度偏向某一类、也不让模型过度自信的顺序,并保证示例的相关性、多样性与一定随机性。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第5章《上下文学习和轻量级微调》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter7.xhtml) - 结论依据:原文该段以「令人惊讶的是,即使是对训练样本进行简单的重新排列,也可能导致准确率发…」为中心展开,本卡的核心判断「同一批示范换个排列,准确率可能从 54.3% 跳到 93.4%,这在多个模型上都出现过。」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:令人惊讶的是,即使是对训练样本进行简单的重新排列,也可能导致准确率发生巨大变化,从54.3%到接近先进水平的93.4%。