← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9844.g · 生成模型:Hunyuan

多重共线性:最小二乘的失效边界

理解等级:中级

最小二乘看似完美,却有一个硬限制:样本矩阵的行列式不能为 0,必须是非奇异阵,换到统计语言就是各解释变量之间不能有强烈的线性相关,否则称为多重共线性。共线性的危害是让模型估计失真——XT X 接近奇异时,求逆会把误差放大,系数变得不稳定甚至符号反常。现实里完全共线性少见,更多是近似共线性。诊断办法是计算两两特征列的相关系数矩阵:若某两列相关系数在 0.9 以上就属强线性相关。但逐列比较只覆盖相邻列,维度一高,待比较的配对数会按级数上升,这就催生了针对最小二乘的改进策略——线性系统里最常用的是岭回归。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第7章 预测的技术与哲学 · 查看原书依据

      但是,最小二乘法存在一个限制,即样本矩阵的行列式不能为0,样本矩阵必须为非奇异阵。也就是说,样本的各个特征(解释变量)之间不能表现为强烈的线性相关性,我们称之为多重共线性(Multicollinearity)。多重共线性的存在会使模型的估计失真。

    参考来源

    - 位置:《机器学习算法原理与编程实践》第7章 预测的技术与哲学(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00025.html) - 结论依据:原文说明最小二乘要求非奇异阵、给出多重共线性的定义与失真后果,并用相关系数矩阵做诊断且指出相邻列比较的局限,支撑这段边界与诊断说明。 - 原始内容:但是,最小二乘法存在一个限制,即样本矩阵的行列式不能为0,样本矩阵必须为非奇异阵。也就是说,样本的各个特征(解释变量)之间不能表现为强烈的线性相关性,我们称之为多重共线性(Multicollinearity)。多重共线性的存在会使模型的估计失真。