知识卡片
范数与参数惩罚
对向量 (3,4),L1 等于 |3|+|4|=7,L2 等于 √(9+16)=5。范数可以用来度量残差向量,也可以用于限制系数。只有把参数范数以惩罚项加入目标,才是此处所说的正则化。Lasso 使用 L1,岭回归通常使用平方 L2。
[[平方残差定义拟合目标]]。同一种范数可用来衡量残差,也可独立惩罚参数。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 3.2.2 线性回归算法的数学解析 · 查看原书依据
L2范数(Ridge Regression)出现的频率更高,表示向量中每个元素的平方和的平方根。根据定义,L2范数的计算分三步,首先逐个求得元素的平方,然后相加求和,最后求和的平
参考来源
- 位置:《机器学习算法的数学解析与Python实现》3.2.2 线性回归算法的数学解析(来源项目 book-source,`extracted/机器学习算法的数学解析与Python实现/_epub-src/OEBPS/text00035.html`)
- 结论依据:本节列出了 L1 与 L2 的计算规则,卡片区分书中并称的范数与正则化。
- 原始内容:L2范数(Ridge Regression)出现的频率更高,表示向量中每个元素的平方和的平方根。根据定义,L2范数的计算分三步,首先逐个求得元素的平方,然后相加求和,最后求和的平