← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9688.l · 生成模型:DeepSeek-V4.1-Flash

指令微调与上下文学习的分工

理解等级:中级

二者都在解决“让通用模型照着说明做新任务”,但把任务知识放在不同位置。

维度 上下文学习 指令微调
参数 完全冻结 更新(全部或一部分)
任务知识 写在提示的说明与示例里 写进权重,形成“遵循指令”的先验
数据 每任务几个示例,无需训练 需要指令—回答数据与训练成本
推理成本 提示越长越贵,随长度二次增长 提示短,权重固定
调整速度 改提示即可 需重新训练或加载适配器

关键差别:ICL 是“临时把任务塞进上下文”,任务随提示来、随提示走;指令微调是“把照着说明做这件事固化成能力”,之后再用少样本提示会更稳。实践上两者常叠加:先用指令数据训练,再用示范提示;也有工作把示范当作微调输入,让模型学会利用示例。

边界:ICL 在多数自然语言理解任务上仍落后全参微调,且对示范与指令的扰动很敏感,单纯扩大示例数量的收益也有限。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第5章《上下文学习和轻量级微调》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter7.xhtml) - 结论依据:原文该段以「这一视角表明,ICL和显式微调具有基于梯度下降的优化的双重观点。唯一…」为中心展开,本卡的核心判断「二者都在解决“让通用模型照着说明做新任务”,但把任务知识放在不同位置。」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:这一视角表明,ICL和显式微调具有基于梯度下降的优化的双重观点。唯一的区别在于,ICL通过前向计算产生元梯度,而微调则通过反向传播计算梯度。因此,ICL可以理解为一种隐式微调。