知识卡片
数据集增强与不变性
提升泛化最好的办法是更多数据,数据集增强通过生成假数据扩充训练集。对分类尤其自然:把类别不变的输入变换施加到样本上即可得到新的样本对。在对象识别中,平移、旋转、缩放图像都能明显改善泛化,即便网络已有卷积池化带来的部分平移不变性。关键是变换不能改变类别——字符识别中水平翻转或旋转180度会把b变d、6变9,就不适用。在输入层注入噪声也属数据增强,向隐藏单元加噪声相当于在多个抽象层做增强;Dropout则可视作与噪声相乘构造新输入。比较算法基准时必须控制增强方案,否则改进可能来自合成转换而非算法本身。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第7章 深度学习中的正则化 · 查看原书依据
数据集增强对一个具体的分类问题来说是特别有效的方法:对象识别。图像是高维的并包括各种巨大的变化因素,其中有许多可以轻易地模拟。即使模型已使用卷积和池化技术(第9章)对部分平移保持不变,沿训练图像每个方向平移几个像素的操作通常可以大大改善泛化。
参考来源
- 位置:《深度学习》第7章 深度学习中的正则化(源文件:extracted/深度学习/_epub-src/text/part0002.html)
- 结论依据:原文以对象识别为例说明平移旋转缩放的有效性,警告不能用改变类别的转换,并把输入噪声注入归为数据增强。
- 原始内容:数据集增强对一个具体的分类问题来说是特别有效的方法:对象识别。图像是高维的并包括各种巨大的变化因素,其中有许多可以轻易地模拟。即使模型已使用卷积和池化技术(第9章)对部分平移保持不变,沿训练图像每个方向平移几个像素的操作通常可以大大改善泛化。