知识卡片
分类变量要拆成哑变量
问题 把 m 个类别的名义变量直接编码成 1,2,…,m 放进回归,等于断言类别之间存在等距的大小关系:亚利桑那比阿拉斯加“大 1 个单位”。这种差值没有意义,系数也无法解释。 正确做法 拆成 m−1 个 0/1 哑变量,每个代表“是否属于某一类”。被省略的那一类成为基准组:来自它的样本所有哑变量取 0;各哑变量的系数表示该类与基准组在结果上的平均差异。 为什么是 m−1 若 m 个哑变量全部放入,它们的和恒为 1,与截距项完全共线,系数无法唯一确定。省略一类等于把基准钉住,模型才可识别;代价是截距与各系数的含义都相对于这个基准。 附带风险 截距变成“所有输入为 0 的人”。收入模型里它是零岁、零教育年限的女性的预测收入,而数据中并没有这种人。对训练范围之外的输入作预测,结果可能严重失真,不应单独解读截距。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第6章 高级分析理论与方法:回归 · 查看原书依据
在回归分析中,如果一个分类变量有m种不同的取值,那么实施这种分类变量的一种合适方法是添加m-1个二元变量到回归模型中。
参考来源
- 位置:《数据科学与大数据分析 数据的发现 分析 可视化与表示》第6章 高级分析理论与方法:回归(源文件:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0016_split_001.html)
- 结论依据:6.1.2 节第 3 小节以州为例说明按字母序编号无法提供有意义的差值,正确做法是加入 m−1 个二元变量,并以未纳入模型的州作参考。
- 原始内容:在回归分析中,如果一个分类变量有m种不同的取值,那么实施这种分类变量的一种合适方法是添加m-1个二元变量到回归模型中。