知识卡片
给每个示范算影响力
ICL 里所谓“训练”其实只是在序列前拼接示例,没有梯度更新,因此每个样本的贡献可以用纯前向计算估出来。
上下文影响力:随机抽取大量 k 示例子集,逐个测验证集性能,得到“提示—性能”数据集;样本 x 的影响力等于“包含 x 的提示平均性能”减去“不含 x 的提示平均性能”。子集越多估计越准,实验中每个样本平均出现不少于 30 次。挑影响力最高的 k 个拼出“最好提示”,最低的拼出“最差提示”,两者差距说明选样足以左右结果。
不确定性主动标注:Active-Prompt 反过来找“模型最没把握”的问题,再用人工写的思维链去标注它们。前者是事后评估已有样本的价值,后者是主动购买信息量最大的标注;目标一致——让有限的示范预算花在刀刃上。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第5章 上下文学习和轻量级微调 · 查看原书依据
他们将上下文中的影响I(x)定义为样本x对少样本ICL性能的影响。影响是包括x的提示的平均性能与省略x的提示的平均性能之间的差异。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第5章《上下文学习和轻量级微调》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter7.xhtml)
- 结论依据:原文该段以「他们将上下文中的影响I(x)定义为样本x对少样本ICL性能的影响。影…」为中心展开,本卡的核心判断「ICL 里所谓“训练”其实只是在序列前拼接示例,没有梯度更新,因此每个样本的贡献可以用纯前向计算估出来。」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:他们将上下文中的影响I(x)定义为样本x对少样本ICL性能的影响。影响是包括x的提示的平均性能与省略x的提示的平均性能之间的差异。