知识卡片
噪声鲁棒性与标签平滑
向输入加极小方差噪声,对某些模型等价于权重范数惩罚;向隐藏单元或权重加噪声通常更强。对权重注入噪声的分析表明,最小化带噪声的代价等价于在目标上加一项正则,推动参数进入对权重小扰动不敏感的区域——找到的不只是极小点,而是被平坦区域包围的极小点,因此更鲁棒。权重噪声主要用于循环神经网络,可解释为对权重不确定性的贝叶斯随机实现。另一路是向输出目标注入噪声:标签平滑把确切的0和1目标换成较软的值,避免softmax为追求确切概率而无限增大权重、永不收敛,同时不损害正确分类的学习。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第7章 深度学习中的正则化 · 查看原书依据
这种形式的正则化鼓励参数进入权重小扰动对输出相对影响较小的参数空间区域。换句话说,它推动模型进入对权重小的变化相对不敏感的区域,找到的点不只是极小点,还是由平坦区域所包围的极小点(Hochreiter and Schmidhuber,1995)。
参考来源
- 位置:《深度学习》第7章 深度学习中的正则化(源文件:extracted/深度学习/_epub-src/text/part0002.html)
- 结论依据:原文论证权重噪声等价于鼓励平坦极小点的正则项,并说明标签平滑防止模型追求确切概率的好处。
- 原始内容:这种形式的正则化鼓励参数进入权重小扰动对输出相对影响较小的参数空间区域。换句话说,它推动模型进入对权重小的变化相对不敏感的区域,找到的点不只是极小点,还是由平坦区域所包围的极小点(Hochreiter and Schmidhuber,1995)。