知识卡片

普通读书笔记卡 · 9688.b · 生成模型:DeepSeek-V4.1-Flash

示范选择:相似还是多样

理解等级:高级

示例选得好不好,往往比示例多不多更重要。几条路线给出的答案并不相同。

按相似度检索(KATE):把测试输入编码,在训练集里找 k 个最近邻当作示范。它在表到文本生成上比随机抽样高约 11%,问答高约 5%,但情感分析上没有明显收益;该研究还发现示例顺序影响不显著。

按多样性覆盖:把样本建成有向图,每个点指向 k 个近邻,打分时让已选邻居越多得分衰减越快(参数 ρ 控制衰减率),从而逼出彼此不同又具代表性的样本集。组合泛化任务上,“覆盖率多样性”优于“选最不相似样本”。

按整批测试分布选:把示范集选择看成顺序决策,状态是已选集合、动作是再加入哪个样本,奖励用“加入该样本带来的验证集边际提升”。

结论:只挑与测试最像的样本会漏掉任务的组合结构;一味求多样又会牺牲相关性,二者需按任务权衡。注意 KATE 的“顺序无影响”与后来的排序敏感性结论相冲突,说明结论对任务与模型规模很敏感。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第5章 上下文学习和轻量级微调 · 查看原书依据

      例如,在组合泛化中,仅检索最相似的样本是不够的。Levy等提出了两种增加示范集多样性的方法,即基于覆盖率的多样性和选择最不相似的样本。他们发现,基于覆盖率的多样性会带来更好的表现。

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第5章《上下文学习和轻量级微调》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter7.xhtml) - 结论依据:原文该段以「例如,在组合泛化中,仅检索最相似的样本是不够的。Levy等提出了两种…」为中心展开,本卡的核心判断「示例选得好不好,往往比示例多不多更重要。」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:例如,在组合泛化中,仅检索最相似的样本是不够的。Levy等提出了两种增加示范集多样性的方法,即基于覆盖率的多样性和选择最不相似的样本。他们发现,基于覆盖率的多样性会带来更好的表现。