知识卡片
思维链的几种轻量变体
零样本 CoT:不给示例,只在问题后追加“让我们逐步思考”,模型就会输出推理步骤。它在 GSM8k 等任务上有效,但通常弱于带示例的少样本 CoT。
自洽性(self-consistency):同一问题采样多条推理路径,对最终答案投票,选出现次数最多的那个。用推理时的额外算力换取稳健性,弥补单条链中途走偏。
自问(self-ask):不写一整条长链,而是先提出一个子问题、回答它,再提出下一个,结构更易解析,也方便接搜索引擎。
按复杂度选例:优先挑推理步数多的示范,并在解码时从多条链中选复杂链的众数答案,在多步数学任务上优于强基线。
工具调用:在推理步骤之间查询搜索、维基百科或代码执行,把外部结果写回链中再继续。几种变体共同说明:CoT 的收益来自“把过程拆开”,具体用哪种外壳可以按任务替换。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第5章 上下文学习和轻量级微调 · 查看原书依据
Wang et al(2022d)通过自洽性(self-consistency)改进了CoT,即使用CoT从语言模型中采样不同的推理路径,并选择最一致的答案作为最终答案。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第5章《上下文学习和轻量级微调》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter7.xhtml)
- 结论依据:原文该段以「Wang et al(2022d)通过自洽性(self-consis…」为中心展开,本卡的核心判断「零样本 CoT:不给示例,只在问题后追加“让我们逐步思考”,模型就会输出推理步骤。」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:Wang et al(2022d)通过自洽性(self-consistency)改进了CoT,即使用CoT从语言模型中采样不同的推理路径,并选择最一致的答案作为最终答案。