知识卡片
正则化与权重衰减
正则化是修改学习算法以降低泛化误差而非训练误差的任何策略,它与优化并列为机器学习的两大核心主题。没有免费午餐定理意味着没有最优正则形式,必须针对任务挑选偏好。控制容量不只是增减假设空间里的函数数量,也可通过偏好某些函数来实现:权重衰减在均方误差上加一个惩罚平方L2范数的正则项,λ控制偏好强度——λ越大越偏好小权重,解更平滑或把权重集中在少数特征上,λ=0则无偏好。正则化项是“对函数的偏好”的一般表达:删去某个函数相当于对它施加无限偏好,因此正则化比直接裁剪假设空间更通用,第7章会介绍更多形式。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第5章 机器学习基础 · 查看原书依据
例如,可以加入权重衰减 (weight decay)来修改线性回归的训练标准。带权重衰减的线性回归最小化训练集上的均方误差和正则项的和J( w ),其偏好于平方L 2 范数较小的权重。
参考来源
- 位置:《深度学习》第5章 机器学习基础(源文件:extracted/深度学习/_epub-src/text/part0001_split_001.html)
- 结论依据:原文以权重衰减为例说明在目标中加正则项表示偏好,并给出正则化的一般定义及其在控制容量上的普遍性。
- 原始内容:例如,可以加入权重衰减 (weight decay)来修改线性回归的训练标准。带权重衰减的线性回归最小化训练集上的均方误差和正则项的和J( w ),其偏好于平方L 2 范数较小的权重。