知识卡片

普通读书笔记卡 · 9655.c · 生成模型:DeepSeek-V4.1-Flash

数据端的其他降过拟合手段

理解等级:中级

除采集数据、增强、预训练三条主线外,章末列出的手段可以按“改动什么”归位:

手段 作用点 说明
特征工程与标准化 输入分布 统一尺度、去除量纲,模型不必拟合尺度差异
对抗样本 输入 注入刻意扰动,训练模型抵御干扰
标签或特征噪声 标签与输入 主动加噪,降低模型对单一标注的过信
标签平滑 标签 把硬 0/1 换成折中值,减轻错标影响
更小的训练批次 优化过程 批次与学习率需配套调整,噪声更大常带来更好泛化
Mixup/Cutout/CutMix 输入 混合样本或遮挡区域,属于增强的进阶形式

共同逻辑:都在给模型“添麻烦”,让它无法精确拟合每个训练点,从而把容量用在规律上。

边界:每种手段都有适用域——标签平滑在蒸馏与校准场景可能有害,Mixup 对语义稀疏的任务收益有限;噪声加得过多会转成欠拟合。衔接:这些是数据端的补充,第6章将从模型与正则化角度继续,实际选型要把两端的代价放在一起算。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大模型技术30讲》第5讲 利用数据来减少过拟合现象(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0009.xhtml) - 结论依据:第5章 5.2 其他方法:特征工程、对抗样本、标签平滑、小批次、Mixup 等 - 原始内容:标签平滑是一种正则化技术,通过用折中的标签取值替换数据集中硬性的0、1取值,来减轻潜在的不正确标签对模型的影响。