← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9417.h · 生成模型:Tencent Hunyuan Hy

训练集、验证集与测试集

理解等级:初级

训练模型不会用尽全部数据,否则无法判断模型表现或训练是否走在正确方向。通常把数据按 80%、10%、10% 划成三份。训练集占比最大,模型反复迭代它来学习特征与模式;但模型已熟悉这些数据,训练准确率高并不意味着模型好,真正评估必须针对未见数据。验证集不参与训练,而是在训练中每隔若干迭代做公正评估,用于微调参数,其重要性在讨论过拟合时尤为突出。测试集完全对模型隐藏,训练期间绝不出现,只在最后用真实标签与预测比对测算准确率,给出对未知数据的真实表现。三者分工使 [[过拟合的成因]] 可被及时发现,划分时用 train_test_split 还能在切分前打乱数据避免类别偏置。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python深度学习架构实用指南(初译)》第02章《深度前馈网络》(源文件:`../../book-sources/extracted/Python深度学习架构实用指南(初译)/_epub-src/OEBPS/Text/05.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292) - 结论依据:原文给出 80/10/10 的划分比例,并逐一说明训练集、验证集、测试集的用途与训练准确率虚高的局限,支撑三集分工的结论。 - 原始内容:通常,最好将 80% 的可用数据保留为训练集,将 10% 作为验证集,将最后 10% 作为测试集,如下图所示: