知识卡片
岭回归稳定病态拟合
设计矩阵列近似相关时,小特征值对应方向的系数会放大误差。岭回归在被惩罚方向加入正的对角项,提升最小特征值并收缩系数。正则参数可用交叉验证选,过大时会舍去真实信号。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 岭回归与稀疏约束
原书出处 · 1 处
- 线性回归与正则化 岭回归与稀疏约束 · 查看原书依据
阵性态较差(病态矩阵),则当有很小的(或零)特征值时,具有小特征值的矩阵会使线性回归的解不稳定。这意味着,当y存在微小误差时,可能
参考来源
- 位置:《机器学习基础》第7章,7.3 正则化线性回归(book-source:extracted/机器学习基础/_epub-src/EPUB/xhtml/chapter47.xhtml)
- 结论依据:原文借「很小的(或零)特征值」处的论述给出本卡所解释的关系或做法。
- 原始内容:阵性态较差(病态矩阵),则当有很小的(或零)特征值时,具有小特征值的矩阵会使线性回归的解不稳定。这意味着,当y存在微小误差时,可能