知识卡片
测试集独立与算法无关
训练集用于建模,校验集用于选方案;测试集评估未见数据,理想情况下用过即弃。但数据昂贵时可权衡复用,前提是避免用测试集反复调优造成过拟合;独立评估要求与算法类型无关。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第14章 自然语言语料库数据 · 查看原书依据
但是在实践中,数据很昂贵,而且在通过支付方式获取新数据和通过某种不会导致模型过度拟合数据的方式重用旧数据之间存在一个折中。
参考来源
- 位置:《数据之美》第14章《自然语言语料库数据》(源文件:../程序之美系列套装(6册)团队之美、项目管理之美、架构之美、数据之美、测试之美、安全之美/_epub-src/OEBPS/Text/part0397.xhtml)
- 结论依据:原文把训练、校验、测试集分工,建议理想情况下测试后舍弃;同时明确数据成本带来复用折中,但独立测试要求不取决于解题方法。
- 原始内容:测试集合,用于在开发介素时准确地判断该算法对于新的、未访问的数据效果如何。当使用完一次测试集合后,理想情况是抛弃该集合……但是在实践中,数据很昂贵,而且在通过支付方式获取新数据和通过某种不会导致模型过度拟合数据的方式重用旧数据之间存在一个折中。……注意对独立测试集合的需要对于未知问题本身是固有的,而不是和选择的解决方案类型有关