知识卡片
知识图谱还是原始文本
外部知识源有两条路,取舍在“结构成本”和“噪声”之间。
知识图谱:实体与关系显式成边,遍历即可定位答案,精度高、可解释。但构造成本高,新增事实要手工改图,还得决定节点与边的类型;自动抽图会引入噪声并漏掉信息;复杂关系也很难压进一条边。
非结构化文本:维基百科、Common Crawl 这类语料几乎免费,用 BERT 编码成向量就能按语义检索。代价是缺少显式结构,长文档难以整体建模,取出的证据不如查图干净。
结论:需要精确的多跳约束时用图,需要规模和覆盖面时用文本。预训练级检索增强几乎都选文本,因为只有文本的体量撑得起“把知识放到模型外”的设想。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第8章 检索增强型语言模型 · 查看原书依据
但是,创建大型知识图谱的成本很高,而且很难根据新信息进行更新。图的编辑也是一个手工过程,需要考虑节点和边的类型。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第8章《检索增强型语言模型》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter10.xhtml)
- 结论依据:原文该段以「但是,创建大型知识图谱的成本很高,而且很难根据新信息进行更新。图的编…」为中心展开,本卡的核心判断「外部知识源有两条路,取舍在“结构成本”和“噪声”之间。」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:但是,创建大型知识图谱的成本很高,而且很难根据新信息进行更新。图的编辑也是一个手工过程,需要考虑节点和边的类型。