← 返回刚才阅读的位置

知识卡片

操作参考卡 · 9823.k · 生成模型:DeepSeek-V4.1-Flash

缺失值填充的五种策略

理解等级:中级

大部分机器学习模型无法自动处理缺失值,所以在训练前必须决定”这些空洞怎么办”。填补从来不是纯粹的技术选择,因为任何填充都是在往数据里注入猜测,而模型的规律正是从数据里学来的——填错方向,模型就会朝错误方向收敛。

五种常见做法,代价各不相同:

方式 做法 主要好处 主要代价
直接删除 删掉含缺失值的行 降低噪声,不引入假值 减少训练数据;测试集不能删,会造成训练/测试分布不一致
固定值填充 统一填 0 等常数 最简单 缺失比例大时噪声极大,强改数据易导致过拟合
均值/中位数填充 每个特征填自己的均值或中位数 比固定值更接近真实分布 抹平了特征内部的差异,方差被压低
相邻值填充 用缺失位置前/后的取值 值来自真实观测,且不同位置填不同值,扰动比固定值好 偶然性大,相邻值可能与真实值相差很远
模型预测填充 用其他特征训练回归模型预测缺失项 兼顾准确度与扰动 可用特征往往很少,模型本身容易欠拟合

模型预测填充的做法值得展开:假设 f5 有缺失、f1~f4 与 f6、f7 完整,就把这几个完整特征连同 f5 取出来,按 f5 是否缺失切成两份——有值的那部分当训练集,缺失的那部分当测试集;在训练集上训一个回归模型,再对测试集预测,用预测值回填。

选择顺序没有万能答案,但有几条可用的判断:

  1. 数据量大、缺失比例低 → 直接删除最省事,噪声也最小。
  2. 缺失比例中等、特征近似高斯分布 → 均值/中位数填充通常是个稳妥基线(高斯分布的中段覆盖了大部分取值)。
  3. 时间序列或有顺序的数据 → 相邻值填充更自然。
  4. 缺失比例高、完整特征又少 → 慎用模型预测填充,它很可能欠拟合,反而不如均值填充。

书中的实践体会印证了这一点:有时直接用均值/中位数填充的效果反而比模型预测填充更好。特征工程本质上是考验耐心的工作,需要多尝试、多理解、多积累经验。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第2章《机器学习工程实践》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00005.html) - 结论依据:原文在"数据清洗"部分列出直接删除、固定值、均值/中位数、相邻值、模型预测五种缺失值处理方式,并逐条分析其好处与坏处,最后指出没有万能方式、需具体分析。 - 原始内容:直接删除缺失数据的好处是可以降低数据中的噪声,毕竟对一个缺失值进行填充不可能做到百分之百准确,而不准确的填充会给数据带来额外的噪声。