知识卡片
缺失值填充的五种策略
大部分机器学习模型无法自动处理缺失值,所以在训练前必须决定”这些空洞怎么办”。填补从来不是纯粹的技术选择,因为任何填充都是在往数据里注入猜测,而模型的规律正是从数据里学来的——填错方向,模型就会朝错误方向收敛。
五种常见做法,代价各不相同:
| 方式 | 做法 | 主要好处 | 主要代价 |
|---|---|---|---|
| 直接删除 | 删掉含缺失值的行 | 降低噪声,不引入假值 | 减少训练数据;测试集不能删,会造成训练/测试分布不一致 |
| 固定值填充 | 统一填 0 等常数 | 最简单 | 缺失比例大时噪声极大,强改数据易导致过拟合 |
| 均值/中位数填充 | 每个特征填自己的均值或中位数 | 比固定值更接近真实分布 | 抹平了特征内部的差异,方差被压低 |
| 相邻值填充 | 用缺失位置前/后的取值 | 值来自真实观测,且不同位置填不同值,扰动比固定值好 | 偶然性大,相邻值可能与真实值相差很远 |
| 模型预测填充 | 用其他特征训练回归模型预测缺失项 | 兼顾准确度与扰动 | 可用特征往往很少,模型本身容易欠拟合 |
模型预测填充的做法值得展开:假设 f5 有缺失、f1~f4 与 f6、f7 完整,就把这几个完整特征连同 f5 取出来,按 f5 是否缺失切成两份——有值的那部分当训练集,缺失的那部分当测试集;在训练集上训一个回归模型,再对测试集预测,用预测值回填。
选择顺序没有万能答案,但有几条可用的判断:
- 数据量大、缺失比例低 → 直接删除最省事,噪声也最小。
- 缺失比例中等、特征近似高斯分布 → 均值/中位数填充通常是个稳妥基线(高斯分布的中段覆盖了大部分取值)。
- 时间序列或有顺序的数据 → 相邻值填充更自然。
- 缺失比例高、完整特征又少 → 慎用模型预测填充,它很可能欠拟合,反而不如均值填充。
书中的实践体会印证了这一点:有时直接用均值/中位数填充的效果反而比模型预测填充更好。特征工程本质上是考验耐心的工作,需要多尝试、多理解、多积累经验。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第2章 机器学习工程实践 2.3.2 特征工程 · 查看原书依据
直接删除缺失数据的好处是可以降低数据中的噪声,毕竟对一个缺失值进行填充不可能做到百分之百准确,而不准确的填充会给数据带来额外的噪声。
参考来源
- 位置:《机器学习基础:从入门到求职》第2章《机器学习工程实践》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00005.html)
- 结论依据:原文在"数据清洗"部分列出直接删除、固定值、均值/中位数、相邻值、模型预测五种缺失值处理方式,并逐条分析其好处与坏处,最后指出没有万能方式、需具体分析。
- 原始内容:直接删除缺失数据的好处是可以降低数据中的噪声,毕竟对一个缺失值进行填充不可能做到百分之百准确,而不准确的填充会给数据带来额外的噪声。