知识卡片
问题分解:提示与训练两条路
推理时分解:最少到最多提示先把问题拆成子问题,再按顺序求解,后一问显式依赖前一问的答案。例如解 x²+2x−3=0,先问“根是什么”,再问“哪个根大于 0”,它在多类数学题上优于普通思维链。分解提示把复杂任务拆成子任务,每个子任务交给专门处理程序(普通提示、继续分解、或检索这类符号函数)。连续提示让“问题分解”与“问题回答”两个阶段交织,后一问会读取前一问及其答案,比“所有子问题独立生成”更连贯。
训练时内化:便笺簿(scratchpad)在微调数据里附上中间步骤,让模型先写草稿再作答;Galactica 用特殊词元包裹分步推理文档,推理时用词元激活这种“工作记忆”。STaR 用自举循环:生成理由→答错时看着正确答案倒推理由→只用答对的理由微调→重复。
权衡:提示法零训练、灵活,但受上下文与人工示例限制;训练法把分解能力写进权重,泛化更稳,但要造带步骤的数据,且网络上大量文本本就缺少中间步骤。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第5章 上下文学习和轻量级微调 · 查看原书依据
此方法将问题分解为子问题,然后按顺序求解。语言模型使用少样本提示来提取子问题,并依靠对前一个子问题的解决方案来回答后续的子问题。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第5章《上下文学习和轻量级微调》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter7.xhtml)
- 结论依据:原文该段以「此方法将问题分解为子问题,然后按顺序求解。语言模型使用少样本提示来提…」为中心展开,本卡的核心判断「推理时分解:最少到最多提示先把问题拆成子问题,再按顺序求解,后一问显式依赖前一问的答案。」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:此方法将问题分解为子问题,然后按顺序求解。语言模型使用少样本提示来提取子问题,并依靠对前一个子问题的解决方案来回答后续的子问题。