← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9688.g · 生成模型:DeepSeek-V4.1-Flash

思维链:把推理写进示范

理解等级:中级

问题:数学应用题、符号操作、常识推理这类多步任务,即使把模型扩到数千亿参数,缩放曲线也趋于平坦——加参数不再明显涨点。借用《思考,快与慢》的说法,模型擅长“系统 1”式的直觉输出,不擅长“系统 2”式的多步推演。

做法:在示范的输入与最终答案之间插入中间推理步骤,让模型先写出解题过程再给结论。它把大问题拆成若干小步,每步都能多分配一点计算;推理过程可读,出错时能定位到哪一步。

为什么有效:本质是把隐式计算外显成词元序列,用自回归的逐步生成替代一次性映射。

适用条件:任务本身可分解为语言可表达的步骤;需要足够强的模型(少样本 CoT 通常要百亿参数以上,或像 UL2 那样专门训练的 200 亿模型);示例中推理链的质量直接决定效果。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第5章《上下文学习和轻量级微调》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter7.xhtml) - 结论依据:原文该段以「Wei et al(2022c)引入了思维链作为输入和输出之间的中间…」为中心展开,本卡的核心判断「问题:数学应用题、符号操作、常识推理这类多步任务,即使把模型扩到数千亿参数,缩放曲线也趋于平坦——加参数不再明显涨点。」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:Wei et al(2022c)引入了思维链作为输入和输出之间的中间推理步骤,以构建示范提示。这允许语言模型可以预测推理步骤和最终答案