知识卡片
训练集、验证集与测试集
训练模型不会用尽全部数据,否则无法判断模型表现或训练是否走在正确方向。通常把数据按 80%、10%、10% 划成三份。训练集占比最大,模型反复迭代它来学习特征与模式;但模型已熟悉这些数据,训练准确率高并不意味着模型好,真正评估必须针对未见数据。验证集不参与训练,而是在训练中每隔若干迭代做公正评估,用于微调参数,其重要性在讨论过拟合时尤为突出。测试集完全对模型隐藏,训练期间绝不出现,只在最后用真实标签与预测比对测算准确率,给出对未知数据的真实表现。三者分工使 [[过拟合的成因]] 可被及时发现,划分时用 train_test_split 还能在切分前打乱数据避免类别偏置。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 深度前馈网络 数据划分、过拟合与正则化 · 查看原书依据
通常,最好将 80% 的可用数据保留为训练集,将 10% 作为验证集,将最后 10% 作为测试集,如下图所示:
参考来源
- 位置:《Python深度学习架构实用指南(初译)》第02章《深度前馈网络》(源文件:`../../book-sources/extracted/Python深度学习架构实用指南(初译)/_epub-src/OEBPS/Text/05.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292)
- 结论依据:原文给出 80/10/10 的划分比例,并逐一说明训练集、验证集、测试集的用途与训练准确率虚高的局限,支撑三集分工的结论。
- 原始内容:通常,最好将 80% 的可用数据保留为训练集,将 10% 作为验证集,将最后 10% 作为测试集,如下图所示: