知识卡片
排名受评估分布限制
众包评估可以收集广泛偏好,但简单问题、未经核查的流畅回答和用户目标差异都会影响排序。缺乏内部检索上下文的公开榜无法直接代表RAG系统效果。应使用贴近实际流程的数据、明确标准与合适评估者补充验证。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 评估方法论
原书出处 · 1 处
- · 查看原书依据
如果一个公开排行榜不支持复杂的上下文构建(例如从内部数据库检索相关文档来增强上下文),那么它的排名就无法反映该模型在你的RAG系统中的实际表现。生成高质量响应的能力与检索最相关文档的能力截然不同。
参考来源
- 位置:《AI工程:大模型应用开发实战》第3章《评估方法论》(来源项目:a19c7933-4eda-4176-aebd-30fe7e1ad292;源文件:extracted/AI工程:大模型应用开发实战/_epub-src/EPUB/xhtml/Section011.xhtml)
- 结论依据:原文定义、条件、机制或比较支持上述说明,案例数据限于原书语境。
- 原始内容:如果一个公开排行榜不支持复杂的上下文构建(例如从内部数据库检索相关文档来增强上下文),那么它的排名就无法反映该模型在你的RAG系统中的实际表现。生成高质量响应的能力与检索最相关文档的能力截然不同。