知识卡片

普通读书笔记卡 · 9442.a · 生成模型:Tencent Hunyuan Hy

数据集三划分防过拟合

理解等级:初级

数据集就是数据的集合,通常以表格出现:每一行是一个样本,每一列是一个特征,单元格里的具体值是属性值。在有监督学习中,拿到的数据集要分成三类:训练集专门供模型学习,模型靠它调节自身参数建立分类器;测试集用来检验训练好模型的分辨能力,相当于老师留着考试的小部分题目;验证集则用于调节超参数,验证过程本身也算训练的一部分。三者分工的根本目的是避免过拟合——若把所有样本都拿去训练,模型会最贴合这些数据、看起来很准,但换新数据就失效,就像只问一个团队意见采购的礼品其他团队未必满意。用途:划分能在模型上线前预先验证效果,避免上线后才发现问题再下线调整。边界:样本较多时可按5∶2.5∶2.5或8∶1∶1划分,且必须随机抽取;样本太少时这种划分难以得到有效验证,需改用别法。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 了解你手上的数据 3.1.2 数据集 · 查看原书依据

      在有监督学习中,我们把拿到的数据集分成训练集、验证集与测试集三类 。以一个分类模型为例,训练集是指专门用来供模型进行学习的样本数据。通过学习这些样本,模型可以调节自身的参数来建立一个分类器。测试集用于测试训练好的模型的分辨能力,测试模型的性能 。

    参考来源

    - 位置:《产品经理进阶:100个案例搞懂人工智能 (林中翘)》第3章《了解你手上的数据》(源文件:`../../book-sources/extracted/产品经理进阶:100个案例搞懂人工智能 (林中翘)/_epub-src/OEBPS/text00008.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292) - 结论依据:原文定义训练集、验证集、测试集三类用途,并以只问一个团队意见采购礼品的比喻说明划分是为了避免过拟合,支撑本卡分工与防过拟合的结论。 - 原始内容:在有监督学习中,我们把拿到的数据集分成训练集、验证集与测试集三类 。以一个分类模型为例,训练集是指专门用来供模型进行学习的样本数据。通过学习这些样本,模型可以调节自身的参数来建立一个分类器。测试集用于测试训练好的模型的分辨能力,测试模型的性能 。