知识卡片
反向链接更适合演绎推理
前向链接从事实与规则出发不断推出新结论,直到证明或反驳目标;反向链接从目标出发,递归拆成子目标,直到子目标能被事实直接证实或证伪。
语言模型做演绎推理时,前向链接有两个结构性困难:要在整个事实集合里挑出一个子集来用,等于在大空间里做组合搜索;而且很难判断“何时该停止并宣布证不出来”,往往还得为中间步骤训练专门模块。反向链接不需要选子集,目标驱动,天然有“子目标全部关闭即成功”的停止条件。
LAMBADA 就是这种分工的混合系统:反向链接负责高层的证明计划,语言模型负责文本理解与单步推理。在 ProofWriter、PrOntoQA 这类需要最多 5 跳证明链的数据集上,它演绎准确率更高、生成的推理链更常有效,查询次数也更少。
启发:让模型负责“读懂一句话”,让符号结构负责“记住证明走到哪”,比让模型一次吐出整条证明更可靠。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第5章 上下文学习和轻量级微调 · 查看原书依据
Kazemi et al(2022)通过实验证明,反向链接更适合基于文本的演绎逻辑推理,因为它不需要对子集选择进行大型组合搜索,并且具有更自然的停止标准。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第5章《上下文学习和轻量级微调》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter7.xhtml)
- 结论依据:原文该段以「Kazemi et al(2022)通过实验证明,反向链接更适合基于…」为中心展开,本卡的核心判断「前向链接从事实与规则出发不断推出新结论,直到证明或反驳目标;」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:Kazemi et al(2022)通过实验证明,反向链接更适合基于文本的演绎逻辑推理,因为它不需要对子集选择进行大型组合搜索,并且具有更自然的停止标准。