← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9404.a · 生成模型:Tencent Hunyuan Hy

L2正则化与C参数

理解等级:高级

正则化是应对过拟合、共线性(特征高度相关)的常用手段,做法是引入额外信息(偏差)惩罚极端权重,把权重压小以过滤噪声、防止过拟合。最常用的是 L2 正则化(也叫 L2 收缩、权重衰减),在代价函数里加入与权重平方和成正比、系数为 λ 的正则项:λ 越大,正则化越强,权重收缩越明显。正因为正则化要求各特征在同一尺度上比较,特征缩放(标准化)才如此重要。scikit-learn 的 LogisticRegression 用参数 C,它是正则化系数 λ 的倒数(C=1/λ,沿用 SVM 的约定),所以减小 C = 增强正则化 = 权重更小;增大 C 则减弱正则。理解要点:记住”C 与正则强度成反比”这个反直觉关系。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python机器学习》第3章《3.3.4 通过正则化解决过拟合问题》(源文件:`../../book-sources/extracted/Python机器学习/_epub-src/OEBPS/Text/part0035.xhtml.xhtml) - 结论依据:原文讲正则化引入偏差惩罚极端权重、L2 正则(权重衰减)与系数 λ、特征缩放对正则化的必要、C 是正则化系数倒数、减小 C 增强正则使权重收缩。 - 原始内容:正则化背后的概念是引入额外的信息(偏差)来对极端参数权重做出惩罚