知识卡片

共线性检验的VIF阈值

普通读书笔记卡 · 1060.g

内容

建模前需要检验自变量之间是否存在共线性——两个变量高度相关会让参数估计变得不稳定,削弱模型的可解释性和泛化能力。常用的判断标准是方差膨胀因子(VIF),经验上VIF超过10就认为共线性较强,需要处理,最简单的方式是从共线的变量组里剔除多余变量,只保留单变量分析中解释力(如AUC)最高的那一个,再进入正式建模。

参考来源

- 位置:《数据科学工程实践》第1章《如何分析用户的选择》"1.3.2 使用逻辑回归分析自驾选择问题·共线性检验"一节(源文件:_epub-src/OEBPS/Text/part0010.xhtml) - 结论依据:原文明确"由于LR模型是一种广义线性模型,变量间严重的共线性会对参数估计的准确性及泛化能力产生影响……若vif值大于10,可认为变量间具有很强的共线性,需要进行相应的处理,最简单的处理方式就是剔除自变量,保留单变量分析中AUC最大的变量"。 - 原始内容:第4步:共线性检验。由于LR模型是一种广义线性模型,变量间严重的共线性会对参数估计的准确性及泛化能力产生影响,因此需要对自变量间的共线性进行分析。若vif值大于10,可认为变量间具有很强的共线性,需要进行相应的处理,最简单的处理方式就是剔除自变量,保留单变量分析中AUC最大的变量。