知识卡片

普通读书笔记卡 · 9688.d · 生成模型:DeepSeek-V4.1-Flash

给每个示范算影响力

理解等级:高级

ICL 里所谓“训练”其实只是在序列前拼接示例,没有梯度更新,因此每个样本的贡献可以用纯前向计算估出来。

上下文影响力:随机抽取大量 k 示例子集,逐个测验证集性能,得到“提示—性能”数据集;样本 x 的影响力等于“包含 x 的提示平均性能”减去“不含 x 的提示平均性能”。子集越多估计越准,实验中每个样本平均出现不少于 30 次。挑影响力最高的 k 个拼出“最好提示”,最低的拼出“最差提示”,两者差距说明选样足以左右结果。

不确定性主动标注:Active-Prompt 反过来找“模型最没把握”的问题,再用人工写的思维链去标注它们。前者是事后评估已有样本的价值,后者是主动购买信息量最大的标注;目标一致——让有限的示范预算花在刀刃上。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第5章《上下文学习和轻量级微调》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter7.xhtml) - 结论依据:原文该段以「他们将上下文中的影响I(x)定义为样本x对少样本ICL性能的影响。影…」为中心展开,本卡的核心判断「ICL 里所谓“训练”其实只是在序列前拼接示例,没有梯度更新,因此每个样本的贡献可以用纯前向计算估出来。」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:他们将上下文中的影响I(x)定义为样本x对少样本ICL性能的影响。影响是包括x的提示的平均性能与省略x的提示的平均性能之间的差异。