知识卡片

普通读书笔记卡 · 9886.f · 生成模型:Hunyuan

正则化与权重衰减

理解等级:中级

正则化是修改学习算法以降低泛化误差而非训练误差的任何策略,它与优化并列为机器学习的两大核心主题。没有免费午餐定理意味着没有最优正则形式,必须针对任务挑选偏好。控制容量不只是增减假设空间里的函数数量,也可通过偏好某些函数来实现:权重衰减在均方误差上加一个惩罚平方L2范数的正则项,λ控制偏好强度——λ越大越偏好小权重,解更平滑或把权重集中在少数特征上,λ=0则无偏好。正则化项是“对函数的偏好”的一般表达:删去某个函数相当于对它施加无限偏好,因此正则化比直接裁剪假设空间更通用,第7章会介绍更多形式。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第5章 机器学习基础 · 查看原书依据

      例如,可以加入权重衰减 (weight decay)来修改线性回归的训练标准。带权重衰减的线性回归最小化训练集上的均方误差和正则项的和J( w ),其偏好于平方L 2 范数较小的权重。

    参考来源

    - 位置:《深度学习》第5章 机器学习基础(源文件:extracted/深度学习/_epub-src/text/part0001_split_001.html) - 结论依据:原文以权重衰减为例说明在目标中加正则项表示偏好,并给出正则化的一般定义及其在控制容量上的普遍性。 - 原始内容:例如,可以加入权重衰减 (weight decay)来修改线性回归的训练标准。带权重衰减的线性回归最小化训练集上的均方误差和正则项的和J( w ),其偏好于平方L 2 范数较小的权重。