知识卡片
质量评估:众包投票在哪里失效
质量评估决定哪些抽出来的数据能进图谱。标准不是绝对的,取决于图谱的用途——同一份数据进公共图谱可能合格,进行业图谱就不合格。
公共领域图谱可以用众包:同一个知识点让多人标注,若答案唯一,取票数最多的作为结果。这个做法成立需要两个前提,缺一不可:答案客观唯一,且标注者有能力判断。行业图谱两条都不满足。一个专业知识点往往只有行业专家能给出权威答案,大众投票可能稳定地选出错误答案——不是随机噪声,而是系统性偏差,投票越多错得越一致。
可操作的策略是按知识的可验证性分层:能从结构化源或权威词条直接核对的(成立时间、地理坐标、化学式),走自动校验与交叉比对;依赖专业判断的(临床用药剂量、法律条款适用),必须专家签字。此外,入库记录应保留来源、抽取方法、置信度与审核人,否则事后发现错误时无法判断是抽取错了、融合错了还是源头就错——这是质量评估容易被忽略的一半。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第3章 知识图谱相关理论 · 查看原书依据
行业内的一个知识点,可能只有行业专家能够给出权威正确的答案,如果让大众投票来决定,可能会得到错误的知识。所以,针对行业知识图谱,我们可以采用不同于评估公共知识图谱的策略。
参考来源
- 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第3章 知识图谱相关理论(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0051.html)
- 结论依据:原文用行业知识与公共知识的对比指出众包投票的适用边界,并明确行业图谱需要另一套评估策略。
- 原始内容:行业内的一个知识点,可能只有行业专家能够给出权威正确的答案,如果让大众投票来决定,可能会得到错误的知识。所以,针对行业知识图谱,我们可以采用不同于评估公共知识图谱的策略。