知识卡片
用学习曲线诊断过拟合
用途:判断“再加数据有没有用”,以及过拟合到底有多重。
怎么做: 1. 固定验证集与测试集,保证每次评估用的是同一份数据。 2. 取训练集的 10%、20%……100%,分别训练同配置模型。 3. 画出训练集与验证集准确率随训练集规模变化的曲线。
怎么读: | 曲线形态 | 诊断 | 对策 | |—|—|—| | 训练高、验证低,差距大 | 过拟合 | 加数据、增强、正则化 | | 验证准确率随数据量上升且未饱和 | 数据不足 | 继续采集数据 | | 两条曲线都低且贴近 | 欠拟合 | 增大模型或特征、训练更久 |
训练集与验证集的差距直接度量过拟合程度,差距越大越严重。注意“验证准确率随数据量上升”既可能说明过拟合,也可能说明欠拟合——两种情况加数据都有帮助,这正是本章把采集数据排在第一位的理由。
边界:曲线反映的是当前模型与数据分布下的趋势,换结构或增强策略后要重画;小数据集上抖动大,应多点重复取均值。代价:每个比例都要完整训练一次,成本随点数线性增长。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第5章 利用数据来减少过拟合现象 · 查看原书依据
模型在训练集与验证集上表现的差距,反映了过拟合的程度——差距越大,表明过拟合越严重。反之,如果验证集上的正确率随着训练集的增大而提高,说明模型存在欠拟合问题,投喂更多数据可能会有帮助。
参考来源
- 位置:《大模型技术30讲》第5讲 利用数据来减少过拟合现象(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0009.xhtml)
- 结论依据:第5章 5.1.1 采集更多数据:学习曲线的构造与读法
- 原始内容:模型在训练集与验证集上表现的差距,反映了过拟合的程度——差距越大,表明过拟合越严重。反之,如果验证集上的正确率随着训练集的增大而提高,说明模型存在欠拟合问题,投喂更多数据可能会有帮助。