知识卡片

普通读书笔记卡 · 9692.n · 生成模型:DeepSeek-V4.1-Flash

迭代自我反馈

理解等级:中级

为什么一次生成不够

初稿通常连贯,却难以同时满足多方面要求(既要简短、又要覆盖要点、还要指定语气)。人在写作时靠反复修改解决,模型也可以。

Self-Refine

同一个底层模型在少样本设置下扮演三个角色:生成初稿、给出反馈、按反馈修订。把“上一轮输出+反馈”拼进提示再问一次,如此循环。不需要额外训练、不需要人工标注。跨评论改写、故事生成、代码优化、毒性清除等任务都能稳定提升,且大部分收益来自第一次迭代,继续迭代仍有小幅增益。

决定成败的细节

反馈必须具体。“这段哪里可能不对”几乎无效;指出“第三段缺少数据支撑”才有效。任务也要选对:有明确评价标准的任务受益大,主观开放式任务收益不稳定。

变体

RCI(递归批评与改进)用同样的循环,以推理时间换质量,可与思维链叠加;LLM-Augmenter 则先检索外部证据构建证据链,再生成、再评估并回环重问,把“自我批评”换成“外部证据校验”。共同代价是推理成本上升,且在无外部真值时可能自我强化错误、不保证收敛。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第9章《对齐语言模型与人类偏好》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter11.xhtml) - 结论依据:原文该段以「Self-Refine的核心思想是由同一底层语言模型在少样本设置中同…」为中心展开,本卡的核心判断「为什么一次生成不够 初稿通常连贯,却难以同时满足多方面要求(既要简短、又要覆盖要点、还要指定语气)。」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:Self-Refine的核心思想是由同一底层语言模型在少样本设置中同时执行反馈和优化。这种方法可以生成高质量的文本,而不需要大量的监督或昂贵的人工注释。