知识卡片
holdout与模型选择
holdout 交叉验证把数据分为训练集与测试集:训练用于拟合、测试用于评估。但模型选择(针对给定问题调超参求最优)若反复使用同一测试集,测试集就等效变成训练数据的一部分,模型更易过拟合。更好的做法是把数据分成训练/验证/测试三份:训练拟合各模型,验证集作为模型选择标准,测试集全程不参与训练和选择,从而对新数据的泛化误差估计偏差更小。缺点是评估对训练/验证划分方式敏感、结果随样本变化。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 模型评估与参数调优实战 · 查看原书依据
使用模型训练及模型选择阶段不曾使用的数据作为测试数据集的优势在于:评估模型应用于新数据上能够获得较小偏差
参考来源
- 位置:《Python机器学习》第6章《6.2.1 holdout方法》(源文件:`../../book-sources/extracted/Python机器学习/_epub-src/OEBPS/Text/part0084.xhtml.xhtml)
- 结论依据:原文直接支撑上述要点。
- 原始内容:使用模型训练及模型选择阶段不曾使用的数据作为测试数据集的优势在于:评估模型应用于新数据上能够获得较小偏差