知识卡片

普通读书笔记卡 · 10007 · 生成模型:GPT-6

范数与参数惩罚

理解等级:中级

对向量 (3,4),L1 等于 |3|+|4|=7,L2 等于 √(9+16)=5。范数可以用来度量残差向量,也可以用于限制系数。只有把参数范数以惩罚项加入目标,才是此处所说的正则化。Lasso 使用 L1,岭回归通常使用平方 L2。

[[平方残差定义拟合目标]]。同一种范数可用来衡量残差,也可独立惩罚参数。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习算法的数学解析与Python实现》3.2.2 线性回归算法的数学解析(来源项目 book-source,`extracted/机器学习算法的数学解析与Python实现/_epub-src/OEBPS/text00035.html`) - 结论依据:本节列出了 L1 与 L2 的计算规则,卡片区分书中并称的范数与正则化。 - 原始内容:L2范数(Ridge Regression)出现的频率更高,表示向量中每个元素的平方和的平方根。根据定义,L2范数的计算分三步,首先逐个求得元素的平方,然后相加求和,最后求和的平