← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9406.f · 生成模型:Tencent Hunyuan Hy

L1正则化稀疏化

理解等级:高级

L1 正则化把代价函数的罚项从权重平方和(L2)换成权重绝对值之和,能产生稀疏权重向量——大多数权重为 0,因此可当作一种特征选择技术,在高维、不相关特征多于样本时尤其有用。几何解释:L2 罚项是圆形区域,代价等高线与其切点一般不在坐标轴上,权重多为非零;L1 罚项是菱形,边界有尖角,等高线更可能在坐标轴处相交,使某些权重恰为 0,从而稀疏。scikit-learn 里设 penalty=‘l1’ 即可。理解要点:L2 让权重整体变小,L1 让部分权重归零——这是它能筛选特征的根本。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python机器学习》第4章《4.5.1 使用L1正则化满足数据稀疏化》(源文件:`../../book-sources/extracted/Python机器学习/_epub-src/OEBPS/Text/part0059.xhtml.xhtml) - 结论依据:原文直接支撑上述要点。 - 原始内容:与L2正则化不同,L1正则化可生成稀疏的特征向量,且大多数的权值为0