← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9688.f · 生成模型:DeepSeek-V4.1-Flash

让模型自己写任务指令

理解等级:中级

人工写指令费时且风格不一,于是出现两条自动化路线。

指令归纳:给模型 5 个输入—输出对加一个测试输入,只提示“输入:… 输出:…”,要求它先用自然语言说出这些例子共同遵循的规则,再作答。大量任务重复 100 次,多数任务准确率达到 80% 以上,部分接近人类。产出的指令人类可读,等于把假设空间限制在自然语言里,可缓解虚假相关与过拟合。

自动提示工程师(APE):先从指令池采样候选,用模型给每个候选打分,再以迭代的蒙特卡洛搜索让模型提出语义相近的变体,逐步逼近最佳指令。

另一条路是干脆不写指令:ICIL 用一组固定的跨任务示范(每个示范是“指令+输入+输出”),所有评估任务共用。它的有效性主要来自含明确答案选项的分类任务;把示范输入换成随机句子,性能也不明显下降,说明模型学的是“答案选项与输出标签的对应”,而非复杂语义映射。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第5章《上下文学习和轻量级微调》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter7.xhtml) - 结论依据:原文该段以「Honovich等引入了一个名为“指令归纳挑战”的新挑战,即为模型提…」为中心展开,本卡的核心判断「人工写指令费时且风格不一,于是出现两条自动化路线。」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:Honovich等引入了一个名为“指令归纳挑战”的新挑战,即为模型提供一些输入-输出对示范,并要求其生成描述输入-输出对之间关系的自然语言指令。