知识卡片
零样本与少样本的分界
零样本:提示里只给任务描述,不给任何示例,模型靠预训练获得的知识直接泛化到没见过的任务。它适合训练数据稀缺、或根本拿不到标注的场景,也是检验模型“原生能力”的基线。
少样本:提示里放若干高质量的输入—输出对,让模型从示范中读出意图与答案的格式、粒度、风格。多给几个示例通常能明显提升表现,代价是消耗更多词元(token),输入输出较长时还会撞上上下文长度上限。
怎么选:示例的价值不在数量,而在是否覆盖了任务的关键变体;如果任务本身简单、模型已经理解,零样本反而更省更稳。也有反例:KATE 在情感分析上并未比微调过的 RoBERTa 基线更好,说明少样本并非无条件优于其他方案。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第5章 上下文学习和轻量级微调 · 查看原书依据
因此,少样本学习通常会比零样本学习具有更好的表现。不过,少样本学习需要消耗更多的词元,并且当输入和输出文本较长时,可能会受到上下文长度的限制。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第5章《上下文学习和轻量级微调》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter7.xhtml)
- 结论依据:原文该段以「因此,少样本学习通常会比零样本学习具有更好的表现。不过,少样本学习需…」为中心展开,本卡的核心判断「零样本:提示里只给任务描述,不给任何示例,模型靠预训练获得的知识直接泛化到没见过的任务。」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:因此,少样本学习通常会比零样本学习具有更好的表现。不过,少样本学习需要消耗更多的词元,并且当输入和输出文本较长时,可能会受到上下文长度的限制。