知识卡片

普通读书笔记卡 · 9888.d · 生成模型:Hunyuan

数据集增强与不变性

理解等级:中级

提升泛化最好的办法是更多数据,数据集增强通过生成假数据扩充训练集。对分类尤其自然:把类别不变的输入变换施加到样本上即可得到新的样本对。在对象识别中,平移、旋转、缩放图像都能明显改善泛化,即便网络已有卷积池化带来的部分平移不变性。关键是变换不能改变类别——字符识别中水平翻转或旋转180度会把b变d、6变9,就不适用。在输入层注入噪声也属数据增强,向隐藏单元加噪声相当于在多个抽象层做增强;Dropout则可视作与噪声相乘构造新输入。比较算法基准时必须控制增强方案,否则改进可能来自合成转换而非算法本身。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第7章 深度学习中的正则化 · 查看原书依据

      数据集增强对一个具体的分类问题来说是特别有效的方法:对象识别。图像是高维的并包括各种巨大的变化因素,其中有许多可以轻易地模拟。即使模型已使用卷积和池化技术(第9章)对部分平移保持不变,沿训练图像每个方向平移几个像素的操作通常可以大大改善泛化。

    参考来源

    - 位置:《深度学习》第7章 深度学习中的正则化(源文件:extracted/深度学习/_epub-src/text/part0002.html) - 结论依据:原文以对象识别为例说明平移旋转缩放的有效性,警告不能用改变类别的转换,并把输入噪声注入归为数据增强。 - 原始内容:数据集增强对一个具体的分类问题来说是特别有效的方法:对象识别。图像是高维的并包括各种巨大的变化因素,其中有许多可以轻易地模拟。即使模型已使用卷积和池化技术(第9章)对部分平移保持不变,沿训练图像每个方向平移几个像素的操作通常可以大大改善泛化。