← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9888.b · 生成模型:Hunyuan

L1正则化与特征选择

理解等级:中级

L1正则化把参数绝对值之和加入目标,其梯度含一个与参数符号同号的常数项,而非像L2那样线性缩放。在Hessian对角的简化下,若某维上目标函数的梯度不足以抵消惩罚系数,最优解会被直接推到零,因此产生稀疏解——部分参数恰好为0。这与L2不同:L2按比例缩放,通常不会让非零参数变成零。由此L1可用于特征选择,LASSO即把L1与线性模型、最小二乘结合,把无关特征权重压零。贝叶斯视角下,L1惩罚等价于各向同性拉普拉斯先验的最大后验推断,L2则对应高斯先验。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第7章 深度学习中的正则化 · 查看原书依据

      著名的LASSO(Tibshirani,1995)(Least Absolute Shrinkage and Selection Operator)模型将L 1 惩罚和线性模型结合,并使用最小二乘代价函数。L 1 惩罚使部分子集的权重为零,表明相应的特征可以被安全地忽略。

    参考来源

    - 位置:《深度学习》第7章 深度学习中的正则化(源文件:extracted/深度学习/_epub-src/text/part0002.html) - 结论依据:原文指出L1产生更稀疏的解并导出LASSO特征选择,同时说明L1惩罚与拉普拉斯先验的最大后验等价。 - 原始内容:著名的LASSO(Tibshirani,1995)(Least Absolute Shrinkage and Selection Operator)模型将L 1 惩罚和线性模型结合,并使用最小二乘代价函数。L 1 惩罚使部分子集的权重为零,表明相应的特征可以被安全地忽略。