知识卡片
L1正则化稀疏化
L1 正则化把代价函数的罚项从权重平方和(L2)换成权重绝对值之和,能产生稀疏权重向量——大多数权重为 0,因此可当作一种特征选择技术,在高维、不相关特征多于样本时尤其有用。几何解释:L2 罚项是圆形区域,代价等高线与其切点一般不在坐标轴上,权重多为非零;L1 罚项是菱形,边界有尖角,等高线更可能在坐标轴处相交,使某些权重恰为 0,从而稀疏。scikit-learn 里设 penalty=‘l1’ 即可。理解要点:L2 让权重整体变小,L1 让部分权重归零——这是它能筛选特征的根本。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 数据预处理——构建好的训练数据集 · 查看原书依据
与L2正则化不同,L1正则化可生成稀疏的特征向量,且大多数的权值为0
参考来源
- 位置:《Python机器学习》第4章《4.5.1 使用L1正则化满足数据稀疏化》(源文件:`../../book-sources/extracted/Python机器学习/_epub-src/OEBPS/Text/part0059.xhtml.xhtml)
- 结论依据:原文直接支撑上述要点。
- 原始内容:与L2正则化不同,L1正则化可生成稀疏的特征向量,且大多数的权值为0