知识卡片

普通读书笔记卡 · 9655.a · 生成模型:DeepSeek-V4.1-Flash

数据增强为何抗过拟合

理解等级:中级

是什么:数据增强是在不采集新数据的前提下,由现有样本生成新样本或新特征——图像上的亮度、翻转、裁剪、旋转、加噪,文本上的同义替换、回译,表格上的列扰动与合成。

为什么能抗过拟合:过拟合的本质是模型记住了训练样本里的噪声与偶然细节。增强让同一个语义对应多个不同的输入版本,模型很难再靠“第 37 个像素是 0.82”这类记忆取胜,只能去学形状、纹理、语义这些稳定特征。等价地说,增强把“相似输入应有相同输出”这一先验写进了训练数据。

边界:增强必须保持标签语义。手写数字上做大幅度旋转或翻转,会把 6 变成 9,标签就不再正确,准确率反而下降——这正是练习 5-2 的情形。增强的种类与强度要与任务匹配,并应在验证集上确认收益。

代价:增强抬高单轮训练成本;策略搜索(AutoAugment 一类)本身很贵;表格数据上简单扰动可能破坏特征间相关性,需要更谨慎的合成方法,如基于生成模型的做法。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大模型技术30讲》第5讲 利用数据来减少过拟合现象(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0009.xhtml) - 结论依据:第5章 5.1.2 数据增强:机制解释、图像示例与增强失当的反例 - 原始内容:这是因为数据增强后,模型不容易从训练样本或特征中记住虚假信息,以图像数据处理为例,模型将很难记住特定像素位置的精确像素值。