知识卡片
多重共线性的识别
若存在不全为零的常数 c1…cp 使 c1xi1+…+cpxip=0 对每个样本成立,则自变量完全共线:X 不再列满秩,XᵀX 不可逆,最小二乘无解。实际更常见的是近似共线,此时 XᵀX 接近奇异,其逆的对角元很大,系数估计的方差被放大,估计不再有效,符号还可能与常识相反。识别用两类指标:方差膨胀因子 VIF_j=1/(1-R_j²),R_j² 是 xj 对其余变量回归的决定系数,容忍度为其倒数,VIF>5 或 10(容忍度15 有共线,κ>30 严重,正交时为 1。处理办法有剔除变量、增大样本、改用岭回归或 Lasso 等有偏估计。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第2章 线性回归方法 · 查看原书依据
如果存在不全为零的p 个常数c1, …, cp,使得 c1xi1+c2xi2+…+cpxip=0, i=1,2, …, n 则自变量x 1, x 2, …, xp 之间存在完全的多重共线性(multicollinearity)。
参考来源
- 位置:《大数据挖掘与统计机器学习》第2章 线性回归方法(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter4_0001.xhtml,2.1.3 自变量的选择与逐步回归)
- 结论依据:原文给出完全与近似多重共线性的定义、对 XᵀX 求逆的影响,以及容忍度、VIF、条件数的阈值与处理手段。
- 原始内容:如果存在不全为零的p 个常数c1, …, cp,使得 c1xi1+c2xi2+…+cpxip=0, i=1,2, …, n 则自变量x 1, x 2, …, xp 之间存在完全的多重共线性(multicollinearity)。