← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9688.a · 生成模型:DeepSeek-V4.1-Flash

零样本与少样本的分界

理解等级:中级

零样本:提示里只给任务描述,不给任何示例,模型靠预训练获得的知识直接泛化到没见过的任务。它适合训练数据稀缺、或根本拿不到标注的场景,也是检验模型“原生能力”的基线。

少样本:提示里放若干高质量的输入—输出对,让模型从示范中读出意图与答案的格式、粒度、风格。多给几个示例通常能明显提升表现,代价是消耗更多词元(token),输入输出较长时还会撞上上下文长度上限。

怎么选:示例的价值不在数量,而在是否覆盖了任务的关键变体;如果任务本身简单、模型已经理解,零样本反而更省更稳。也有反例:KATE 在情感分析上并未比微调过的 RoBERTa 基线更好,说明少样本并非无条件优于其他方案。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第5章《上下文学习和轻量级微调》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter7.xhtml) - 结论依据:原文该段以「因此,少样本学习通常会比零样本学习具有更好的表现。不过,少样本学习需…」为中心展开,本卡的核心判断「零样本:提示里只给任务描述,不给任何示例,模型靠预训练获得的知识直接泛化到没见过的任务。」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:因此,少样本学习通常会比零样本学习具有更好的表现。不过,少样本学习需要消耗更多的词元,并且当输入和输出文本较长时,可能会受到上下文长度的限制。