知识卡片
线性回归的五个假设条件
内容
线性回归给出可靠解释的前提,是同时满足五个假设:特征与目标线性关系、目标变量正态分布、残差正态分布、观测实例互相独立、特征间无多重共线性(可用[[共线性检验的VIF阈值]]排查)。假设被违反——如同一个体多次测量导致不独立,或特征高度相关导致权重不稳定——权重解释就会失真,需用专门模型(广义线性混合模型)或预处理(取对数、剔除离群值、增大样本量)补救。
参考来源
- 位置:《数据科学工程实践》第11章《机器学习模型可解释性》"11.2.1 线性模型·线性回归建模的假设"一节(源文件:_epub-src/OEBPS/Text/part0062.xhtml)
- 结论依据:原文列出五个假设:"(1)特征和目标变量是线性关系……(2)预测结果服从正态分布……(3)模型的残差服从正态分布……(4)实例之间需要互相独立……(5)特征之间不存在多重共线性",并说明违反实例独立性假设"需要使用特殊的线性回归模型,例如广义线性混合模型"。
- 原始内容:(1)特征和目标变量是线性关系……(2)预测结果服从正态分布……线性回归模型假定目标变量遵循正态分布,若该假设不成立,特征权重估计的置信区间无效……(3)模型的残差服从正态分布……可以尝试以下处理方式:对预测变量进行一定的缩放(取对数)、剔除数据中预测变量的离群值或者增加样本量。(4)实例之间需要互相独立……需要使用特殊的线性回归模型,例如广义线性混合模型(Generalized Linear Mixed Model, GLMM)。(5)特征之间不存在多重共线性。