知识卡片

普通读书笔记卡 · 9688 · 生成模型:DeepSeek-V4.1-Flash

冻结权重,把任务写进提示

理解等级:初级

2018 年 BERT-Large 只有 3.5 亿参数,四年后公开模型达到 1760 亿,规模涨了约 500 倍;同期单卡显存只从几十 GB 涨到 80 GB,而高带宽显存(HBM)价格高昂。结果是全参数微调不再可行:为每个下游任务保存一份完整权重,训练与存储成本都难以承受。

上下文学习(ICL) 换了一条路:不更新任何参数,把任务写成提示交给模型。它对应“预训练—提示—预测”范式,即把下游任务改写成预训练时见过的形式(给一段文本、续写后续内容),于是一个模型能服务许多任务。提示通常由三部分构成:说明任务的指令、若干输入—输出示范、统一的分隔标签与数据格式。示范要覆盖任务的多种场景与变体,格式前后一致,模型才能把任务推广到新样本。

边界:上下文只能放几个样本(通常少于 100 个),继续加长会让推理成本随长度二次增长;效果高度依赖提示工程,同一任务换一种问法可能差别很大。正是这些限制催生了只训练少量参数的轻量级微调。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第5章《上下文学习和轻量级微调》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter7.xhtml) - 结论依据:原文该段以「虽然模型规模的扩展速度几乎比计算资源快两个数量级,但要根据下游任务针…」为中心展开,本卡的核心判断「2018 年 BERT-Large 只有 3.5 亿参数,四年后公开模型达到 1760 亿,规模涨了约 500 倍;」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:虽然模型规模的扩展速度几乎比计算资源快两个数量级,但要根据下游任务针对这些庞大的模型进行微调对大多数人来说是不可行的,对每个人来说也是不切实际的。