知识卡片
数据端的其他降过拟合手段
除采集数据、增强、预训练三条主线外,章末列出的手段可以按“改动什么”归位:
| 手段 | 作用点 | 说明 |
|---|---|---|
| 特征工程与标准化 | 输入分布 | 统一尺度、去除量纲,模型不必拟合尺度差异 |
| 对抗样本 | 输入 | 注入刻意扰动,训练模型抵御干扰 |
| 标签或特征噪声 | 标签与输入 | 主动加噪,降低模型对单一标注的过信 |
| 标签平滑 | 标签 | 把硬 0/1 换成折中值,减轻错标影响 |
| 更小的训练批次 | 优化过程 | 批次与学习率需配套调整,噪声更大常带来更好泛化 |
| Mixup/Cutout/CutMix | 输入 | 混合样本或遮挡区域,属于增强的进阶形式 |
共同逻辑:都在给模型“添麻烦”,让它无法精确拟合每个训练点,从而把容量用在规律上。
边界:每种手段都有适用域——标签平滑在蒸馏与校准场景可能有害,Mixup 对语义稀疏的任务收益有限;噪声加得过多会转成欠拟合。衔接:这些是数据端的补充,第6章将从模型与正则化角度继续,实际选型要把两端的代价放在一起算。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第5章 利用数据来减少过拟合现象 · 查看原书依据
标签平滑是一种正则化技术,通过用折中的标签取值替换数据集中硬性的0、1取值,来减轻潜在的不正确标签对模型的影响。
参考来源
- 位置:《大模型技术30讲》第5讲 利用数据来减少过拟合现象(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0009.xhtml)
- 结论依据:第5章 5.2 其他方法:特征工程、对抗样本、标签平滑、小批次、Mixup 等
- 原始内容:标签平滑是一种正则化技术,通过用折中的标签取值替换数据集中硬性的0、1取值,来减轻潜在的不正确标签对模型的影响。