知识卡片

普通读书笔记卡 · 9668.c · 生成模型:DeepSeek-V4.1-Flash

上下文学习与提示词调优

理解等级:中级

上下文学习:把任务说明和若干示例直接写进提示,模型据此推断期望行为,参数一个都不改。它成立的前提是预训练见过大量任务与情境。示例是翻译对、分类样例都行,效果随示例数量与质量变化。

边界:在特定任务或数据集上通常不如微调,因为没有针对任务调整参数;受上下文窗口限制,示例越多成本越高;对示例顺序与格式敏感。优势在另一侧:没有标注、拿不到权重、只能通过 API 交互时,它是唯一能快速试错的路。

硬提示词调优:不改参数,改提示本身——试不同模板、不同分隔符,用少量标注挑最好的一版。词元离散不可微,只能搜索或人工比对,因此劳动密集;性能也不如全参微调,因为模型的细微能力没有被调动。另有一类做法让另一个大模型自动生成并评估提示。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大模型技术30讲》第18讲 使用和微调预训练Transformer(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0024.xhtml) - 结论依据:18.2 节:说明上下文学习(零样本/小样本)的做法与优劣,硬提示词调优以优化提示为目标、不改模型参数,且不可微、劳动密集。 - 原始内容:上下文学习会在输入或提示中提供任务的背景或示例,使模型能够推断出期望的行为并生成恰当的回复。这种方法利用了模型在预训练期间从大量数据中学习的能力