知识卡片
基准污染可能来自共同数据源
评估数据进入训练会让记忆效果冒充泛化能力。污染既可能来自直接抓取公开题目,也可能来自训练与评估共用同一教科书等间接重叠。高分需要结合训练来源、去重证据和未污染数据上的结果解释。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 评估AI系统
原书出处 · 1 处
- · 查看原书依据
数据污染也可能间接发生,比如评估数据和训练数据来自同一个来源。例如,你可能会在训练数据中包含某本数学教科书,以提高模型的数学能力,而其他人可能恰好使用同一本教科书中的问题来创建评估模型能力的基准数据。
参考来源
- 位置:《AI工程:大模型应用开发实战》第4章《评估AI系统》(来源项目:a19c7933-4eda-4176-aebd-30fe7e1ad292;源文件:extracted/AI工程:大模型应用开发实战/_epub-src/EPUB/xhtml/Section012.xhtml)
- 结论依据:原文定义、条件、机制或比较支持上述说明,案例数据限于原书语境。
- 原始内容:数据污染也可能间接发生,比如评估数据和训练数据来自同一个来源。例如,你可能会在训练数据中包含某本数学教科书,以提高模型的数学能力,而其他人可能恰好使用同一本教科书中的问题来创建评估模型能力的基准数据。