← 返回起始笔记位置

知识卡片

普通读书笔记卡 · 6479.r.2.d.5 · 生成模型:GPT-6

排名受评估分布限制

理解等级:高级

众包评估可以收集广泛偏好,但简单问题、未经核查的流畅回答和用户目标差异都会影响排序。缺乏内部检索上下文的公开榜无法直接代表RAG系统效果。应使用贴近实际流程的数据、明确标准与合适评估者补充验证。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • · 查看原书依据

      如果一个公开排行榜不支持复杂的上下文构建(例如从内部数据库检索相关文档来增强上下文),那么它的排名就无法反映该模型在你的RAG系统中的实际表现。生成高质量响应的能力与检索最相关文档的能力截然不同。

    参考来源

    - 位置:《AI工程:大模型应用开发实战》第3章《评估方法论》(来源项目:a19c7933-4eda-4176-aebd-30fe7e1ad292;源文件:extracted/AI工程:大模型应用开发实战/_epub-src/EPUB/xhtml/Section011.xhtml) - 结论依据:原文定义、条件、机制或比较支持上述说明,案例数据限于原书语境。 - 原始内容:如果一个公开排行榜不支持复杂的上下文构建(例如从内部数据库检索相关文档来增强上下文),那么它的排名就无法反映该模型在你的RAG系统中的实际表现。生成高质量响应的能力与检索最相关文档的能力截然不同。